멀티모달 AI가 데이터 영상을 읽지 못한다

핵심 요약

• Data video는 데이터 시각화와 비디오 내러티브를 결합한 미디어로, 뉴스 보도와 비즈니스 분석에 널리 사용되지만 일반 영상과 달리 애니메이션 차트 정확 읽기, 시간별 증거 통합, 내러티브와 시각 디자인의 정보 전달 방식 이해가 필수다.
• 기존 벤치마크는 일반 영상이나 정적 차트를 대상으로 하며 데이터 영상 이해는 체계적으로 평가되지 않았다.
• 연구팀은 961개 실제 데이터 영상과 6,775개 평가 문제로 구성된 DataVista 벤치마크를 발표했으며, 데이터 인지·시간 추론·내러티브 이해의 3단계 능력 체계 아래 10가지 세분화된 질문 유형을 포함한다.
• Gemini-3.1-Pro 등 19개 주요 멀티모달 LLM 평가 결과, 최고 성능 모델도 70% 정확도에 불과해 인간 전문가 수준과 큰 격차가 있다.
• 모든 모델이 인과관계 추론과 내러티브 구조 이해에서 가장 낮은 성능을 보였다.
• 프레임 수 증가와 자막 추가는 데이터 인지와 시간 추론에만 도움이 되며 내러티브 이해 능력 향상에는 제한적이다.
• 모델 응답 분석 결과 차트 읽기 오류, 증거 판단 실패, 지시 이해 불일치 등이 주요 실패 원인으로 드러났다.