일상 영상에서 도구 사용 이해하는 AI 벤치마크 공개
Key Point
현 멀티모달 모델이 실제 작업 영상에서 도구 사용의 세부 기하학·절차·인과관계를 이해하는 데 약점을 드러냈으므로, 이를 진단하고 개선할 수 있는 벤치마크가 필요하다.
핵심 요약
- 일상 및 전문적 작업에서 도구 사용은 필수이지만, 현 영상 모델들은 도구 사용의 affordance·기하학적 관계·절차·인과관계를 이해하는 데 제한적이다.
- 이를 해결하기 위해 EgoTools 스위트를 공개했으며, 100시간의 도구 중심 1인칭 영상 데이터셋(음성 동기화·캡션·내레이션·3D 정보 포함)과 진단 벤치마크로 구성된다.
- 벤치마크는 1,000개의 QA로 이루어져 있으며 지각·기하학·절차·인과 추론의 4가지 트랙을 포함한다.