영상 생성 모델 평가용 대규모 벤치마크 'OmniVBench' 공개
원제 OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation
추천 32댓글 2
Key Point
참조 기반 영상 생성의 평가 기준과 학습 자료가 부족한 상황에서, 34만 개 규모의 산업 수준 데이터셋과 체계적 벤치마크를 제공해 R2V 모델 개발의 표준을 제시한다.
핵심 요약
- 참조 영상 기반 비디오 생성(R2V)의 평가와 학습을 위한 'OmniVBench' 벤치마크와 34만 개 샘플의 Omni-R2V 데이터셋을 공개했다.
- 콘텐츠, 모션, 스타일, 구조, 내러티브 등 7개 태스크 패밀리와 18개 세부 과제를 포함하며, 기존 벤치마크보다 다양한 참조 유형과 조합을 다룬다.
- 12,172개의 체크리스트 항목으로 구성된 '요소 기반 평가'를 도입해 참조 요소의 보존, 분리, 실현 여부를 세밀하게 검증한다.
- 학습 데이터는 전문 영상 자료를 기반으로 하며, 다양한 참조 유형과 다중 참조 조합을 지원하는 작업별 파이프라인을 제공한다.
- 기존 오픈소스·폐쇄소스 R2V 모델들의 광범위한 평가 결과, 태스크 계열과 평가 차원별로 상당한 성능 편차가 드러났다.