동영상 이해 AI의 종합 평가 기준 'OmniCompass' 공개
원제 OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
추천 578댓글 4
Key Point
오픈소스 MLLM과 상용 모델 간의 격차를 정량적으로 드러내고, 음성-시각 이해라는 미흡한 영역을 구체적으로 지목하는 실제 평가 결과를 제시한다.
핵심 요약
- 멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다.
- VL 트랙(시각 정보 기반)과 AV 트랙(음성-시각 결합)의 두 평가 경로로 구성되며, 각각 시간 정위(TG), 공간 정위(SG), 질의응답(QA) 세 가지 과제를 포함한다.
- VL 트랙은 5가지 지각·3가지 추론 범주를 다루고, AV 트랙은 3가지 지각·2가지 추론 범주를 다룬다.
- VL 트랙은 820개 동영상 2,460개 인스턴스, AV 트랙은 240개 동영상 720개 인스턴스로 구성하며, 짧음·중간·긴 세 가지 길이의 콘텐츠를 포함한다.
- 모든 인스턴스는 텍스트 전용과 텍스트+이미지의 쌍을 이루며 동일한 대상을 지시하도록 설계했다.
- 50개 MLLM을 평가한 결과, 오픈소스 모델이 특히 음성-시각 이해 분야에서 상용 모델에 크게 뒤처진다.
- 시간 정위와 공간 정위는 최고 성능 모델도 정확도가 떨어지며, 쌍을 이룬 대상 지시 방식 간 일관성 부족 문제가 있다.