음성-영상 추론의 '증거' 까지 평가하는 벤치마크

핵심 요약

• Omni LLM의 음성·영상 추론 능력을 평가하는 기존 벤치마크는 객관식 정답 정확도만 측정해, 모델이 실제로 근거에서 답까지 추론 연쇄를 형성했는지 알 수 없다는 문제가 있다.
• 텍스트나 단일 모달리티만으로 정답을 맞힐 수 있는 '숏컷'이 존재해 진정한 음성-영상 분석 없이도 높은 점수를 얻을 수 있다.
• 이를 해결하기 위해 392개 비디오와 1,027개 인간 주석 질문-답변 쌍으로 구성된 EvaOmni 벤치마크를 공개했다.
• 검색·위치 파악, 기초 이해, 복잡 추론 등 15가지 능력을 3단계로 나눠 평가한다.
• 전문가가 음성·영상 증거와 비디오 기반 방해 요소를 주석하고, 인간이 질문 검수 기준을 확인하며, 모델이 텍스트·단일모달 숏컷을 제거하는 엄격한 주석 절차를 거쳤다.
• 모델은 정답과 함께 증거 구간을 동시에 반환해야 완전한 추론 연쇄를 평가할 수 있다.
• 적용 범위 기반 점수(C.G.)는 모델이 주석된 증거를 얼마나 식별했는지, 병목 기반 점수(B.G.)는 음성·영상 어느 한쪽이라도 시간 위치 파악이 부정확하면 감점한다.
• 24개 Omni LLM(오픈웨이트 7개, 상용 17개) 평가 결과 Gemini-3.7-Flash가 정확도 79.4%, C.G. 70.8%, B.G. 35.1%로 최고 성능을 냈다.
• 단계 3(복잡 추론)에서는 79.1% 정확도를 기록했으나 B.G. 점수는 12.3%로 급락해, 시간적 위치 파악에서 큰 약점을 드러냈다.
• 최고 성능 모델도 증거 기반 음성-영상 추론에는 개선 여지가 많다는 것을 보여준다.