코드 기반 영상 생성 평가하는 벤치마크 등장

핵심 요약

• 멀티모달 에이전트가 코드를 작성해 매 프레임을 렌더링하고 사운드를 합성하는 영상 생성 방식이 부상하고 있다.
• VibeVideoBench는 이 접근법을 평가하는 벤치마크로, 영어와 중국어로 된 239개 자체 완결 과제를 제시한다.
• 데이터 스토리, 음악 기반 콘텐츠, 수업 영상, 논문 설명 등 12개 카테고리를 아우르며, 에이전트는 1시간 내에 사운드가 포함된 MP4 완성본을 제출해야 한다.
• 평가는 계층적이고 근거 기반으로, 프로그램 검사와 13,000개의 과제별 루브릭 검사, 그리고 세 개의 VLM 판사단이 다섯 가지 품질 차원을 채점한다.
• 9개의 최전선 에이전트 시스템과 2,151개의 평가 결과에서 GPT-4o Astra와 Claude Opus 5.5가 판사와 인간 평가자 모두에서 1, 2위를 차지했다.
• 최강 시스템은 76.3%의 과제에서 모든 핵심 요구사항을 만족하며, 누락된 영상을 0점으로 계산하면 순위가 바뀐다.
• 렌더링 시간 초과나 미시작으로 인한 실패가 손실 영상의 3분의 2를 차지하며, 에이전트의 1시간 계획 수립이 약점으로 나타났다.
• 에이전트는 자체 렌더링 파이프라인을 구축하고 프레임을 검사하지만, 검사 빈도가 품질을 예측하지 못한다.
• VLM 판사의 시스템 순위 매김은 맹검 인간 선호도와 높은 일치도를 보인다.