동영상 그래픽 생성 평가 벤치마크 공개
원제 MotionGraphicsBench: Evaluating Motion Graphics Generation with Programmatic Verification
추천 12댓글 3
Key Point
LLM이 복잡한 시공간 요구사항을 포함한 애니메이션 생성을 얼마나 정확히 수행하는지 측정하는 객관적 평가 방법이 제시되어, 모션 그래픽 생성 모델 개발에 표준을 제공한다.
핵심 요약
- 대규모 언어 모델의 모션 그래픽 생성 능력을 평가하기 위해 정적 SVG 이미지에 애니메이션을 적용하는 100개 인스턴스 벤치마크 MotionGraphicsBench를 개발했다.
- 각 벤치마크 인스턴스는 모델 입력, 모션 편집 프롬프트, 결정론적 검증 프로그램으로 구성되며, 이는 기준 애니메이션 비교나 VLM 판정 대신 요구 사항 만족 여부를 보고한다.
- 벤치마크는 실제 Lottie 모션 디자인에서 파생되어 다양한 시공간적 애니메이션 동작을 포함하며, 인간 라벨이 있는 애니메이션과 합성 테스트 케이스를 활용한 다중 에이전트 파이프라인으로 구축했다.
- 180개 애니메이션 테스트 세트에서 검증 프로그램은 인간 판단과 93.3% 일치율을 달성해 GPT-6 Astra VLM 베이스라인의 83.3%를 초과했다.
- 32개 LLM 제공자 47개 설정에서 pass@1 범위는 6.0%~67.7%이며, 32번 시도 시 pass@32는 38.0%~95.0% 범위이다.
- 생성된 애니메이션은 기준 포즈 매칭 실패, 요청된 모션 궤적 미추적, 관련 이벤트 조율 미흡이 주된 실패 원인이다.
- 벤치마크는 Hugging Face datasets에 공개되었다.