비디오 기반 딥 리서치 벤치마크로 AI 에이전트 평가

핵심 요약

• 딥 리서치 에이전트가 비디오를 기반으로 연구 질문을 찾아 외부 멀티모달 증거를 수집한 뒤 대화형 보고서를 생성하는 새로운 과제를 소개했다.
• 비디오 기반 딥 리서치는 사용자가 관련 장면을 찾고, 주장을 검증하고, 시연된 절차를 재현하고, 비디오 콘텐츠에서 정보를 바탕으로 의사결정하는 데 직접적인 실용 가치가 있다.
• OmniDR-Bench 벤치마크를 제시하며 세 가지 차원과 23개의 공유 방향, 작업별 원자 이진 기준으로 구성된 Omni Atomic Rubric Trees(Omni-ARTs)를 평가 지표로 제안했다.
• 평가 기준의 세 방향은 시청각 그라운딩, 멀티모달 증거 활용, 대화형 제시를 검사한다.
• Audited Rubric Construction(ARC)은 독립적인 증거 수집, 자동화된 검사, 행동 보정, 반복적인 인간 검토를 통해 평가 트리를 구축한다.
• 벤치마크는 19개 실제 하위 카테고리에 걸쳐 중국어와 영어 50개 과제, 총 6,414개 기준을 포함한다.
• 18가지 에이전트 구성 중 최고 성능 시스템은 100점 만점에 63.3점을 기록했다.
• 현재 에이전트들은 더 광범위한 콘텐츠 범위, 모달리티 간 강한 인과·논리 분석, 더 정확한 인용 지원이 필요하다.
• 코드와 데이터는 GitHub의 OmniDR-Bench 저장소에 공개됐다.