논문을 포스터로 변환하는 AI 벤치마크 RAP 공개
원제 RAP: A Dataset for Paper-to-Poster Generation via Declarative Markup from Human-Crafted Exemplars
추천 27댓글 2
Key Point
시각적 코딩 벤치마크의 공백을 채우고, 객관적 평가와 인간 설계 재활용을 동시에 가능하게 하는 대규모 구조화된 데이터셋이 공개되었다.
핵심 요약
- 논문을 한 페이지 포스터로 압축하는 작업을 시각적 코딩으로 정의하고, 이를 위한 대규모 벤치마크 RAP를 제시한다.
- RAP는 2022~2026년 머신러닝 학회 25K개 이상의 논문-포스터 쌍을 수집하고, 3단계 콘텐츠 분류체계로 주석했으며, 150개 테스트 논문 벤치마크를 별도로 포함한다.
- 기존 벤치마크와 달리 완전 자동화된 역렌더링 파이프라인으로 각 포스터를 재작성 가능한 HTML/CSS 마크업으로 변환하여, 논문-포스터-마크업 삼중쌍으로 검증할 수 있다.
- PosterRAG는 훈련 없이 예시를 검색하고 레이아웃과 스타일을 유지한 채 슬롯만 채우는 다중 에이전트 파이프라인이다.
- SFT와 강화학습을 활용한 전용 모델 훈련도 동일한 데이터셋 삼중쌍으로 가능하다.
- 기존 방식은 레이아웃을 처음부터 설계했으나, RAP는 인간이 만든 포스터를 검색 가능한 디자인 라이브러리 또는 검증된 감독 신호로 활용할 수 있다.
- 객관적 렌더링 비교 평가가 가능해져, VLM 판사나 인간 체크리스트 대신 자동화된 검증이 가능하다.
- 온라인 데모는 https://reconstruct-a-poster.github.io/ 에서 이용 가능하다.