Hugging Face 논문AI · 머신러닝

동영상 그래픽 생성 평가 벤치마크 공개

원제 MotionGraphicsBench: Evaluating Motion Graphics Generation with Programmatic Verification

추천 12댓글 3Jiaju Ma, Ashvini Kumar Jindal, Chuhua Wang 외
Key Point

LLM이 복잡한 시공간 요구사항을 포함한 애니메이션 생성을 얼마나 정확히 수행하는지 측정하는 객관적 평가 방법이 제시되어, 모션 그래픽 생성 모델 개발에 표준을 제공한다.

핵심 요약

  • 대규모 언어 모델의 모션 그래픽 생성 능력을 평가하기 위해 정적 SVG 이미지에 애니메이션을 적용하는 100개 인스턴스 벤치마크 MotionGraphicsBench를 개발했다.
  • 각 벤치마크 인스턴스는 모델 입력, 모션 편집 프롬프트, 결정론적 검증 프로그램으로 구성되며, 이는 기준 애니메이션 비교나 VLM 판정 대신 요구 사항 만족 여부를 보고한다.
  • 벤치마크는 실제 Lottie 모션 디자인에서 파생되어 다양한 시공간적 애니메이션 동작을 포함하며, 인간 라벨이 있는 애니메이션과 합성 테스트 케이스를 활용한 다중 에이전트 파이프라인으로 구축했다.
  • 180개 애니메이션 테스트 세트에서 검증 프로그램은 인간 판단과 93.3% 일치율을 달성해 GPT-6 Astra VLM 베이스라인의 83.3%를 초과했다.
  • 32개 LLM 제공자 47개 설정에서 pass@1 범위는 6.0%~67.7%이며, 32번 시도 시 pass@32는 38.0%~95.0% 범위이다.
  • 생성된 애니메이션은 기준 포즈 매칭 실패, 요청된 모션 궤적 미추적, 관련 이벤트 조율 미흡이 주된 실패 원인이다.
  • 벤치마크는 Hugging Face datasets에 공개되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗