코드 기반 영상생성 벤치마크 '코드2비디오-컴패스' 공개
원제 Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
추천 33댓글 2
Key Point
코드 기반 영상생성이 사용성과 제어성 측면에서 주목받는 가운데, 다양한 입력과 창작 시나리오를 아우르는 첫 종합 벤치마크가 나왔으며 현재 MLLM들의 한계를 명확히 보여준다.
핵심 요약
- 코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다.
- 기존 코드 기반 벤치마크는 특정 작업에만 집중해 다양한 창작물과 입력 방식의 완전한 영상 생성 평가가 부족했다.
- Code2Video-Compass는 텍스트-영상(T2V), 이미지-영상(I2V), 영상-영상(V2V) 세 형식을 아우르는 범용 벤치마크로 10개 카테고리, 24개 세부 유형의 2,104개 과제를 포함한다.
- 과제들은 구성·동적 애니메이션·상태 의존성 세 가지 복잡도 차원을 다루며, 텍스트 지시와 시각 참조로 큐레이션된 과제와 전문가·사용자 영상에서 파생된 과제를 결합했다.
- 평가 프레임워크는 12개 객관적 지표(연산 성능·영상 품질·텍스트-영상 정렬·참조 충실도)와 5개 주관적 지표(MLLM 판정자의 지시 따름·전체 품질)를 조합한다.
- 9개 계열의 상용 및 오픈소스 MLLM 15개를 평가한 결과 주요 모델들도 텍스트와 시각 요구사항에 부합하는 고품질 완전 영상 생성에 어려움을 겪으며, 복잡도가 높아질수록 성능이 저하된다.
- 논문은 Code2Video-Compass가 신뢰할 수 있고 일관성 있으며 제어 가능한 코드 기반 영상생성을 앞당기고 프로그래밍 방식의 시각 창작 발전을 촉발할 것으로 기대한다.