일상 영상에서 도구 사용 이해하는 AI 벤치마크 공개
원제 EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
추천 38댓글 1
Key Point
현 멀티모달 모델이 실제 작업 영상에서 도구 사용의 세부 기하학·절차·인과관계를 이해하는 데 약점을 드러냈으므로, 이를 진단하고 개선할 수 있는 벤치마크가 필요하다.
핵심 요약
- 일상 및 전문적 작업에서 도구 사용은 필수이지만, 현 영상 모델들은 도구 사용의 affordance·기하학적 관계·절차·인과관계를 이해하는 데 제한적이다.
- 이를 해결하기 위해 EgoTools 스위트를 공개했으며, 100시간의 도구 중심 1인칭 영상 데이터셋(음성 동기화·캡션·내레이션·3D 정보 포함)과 진단 벤치마크로 구성된다.
- 벤치마크는 1,000개의 QA로 이루어져 있으며 지각·기하학·절차·인과 추론의 4가지 트랙을 포함한다.
- 평가 결과 Gemini-3.1-Pro는 전체 정확도 66.9%를 달성했지만 지각·기반(Perception & Grounding)에서는 51.7%에 그쳤다.
- EgoTools-Data를 학습에 사용했을 때 Qwen3-VL-8B-Instruct는 50.0%에서 60.9%로 개선되었다(같은 영상으로 학습·평가하지 않음).
- 연구팀은 EgoTools를 실제 1인칭 영상의 도구 사용 이해를 학습하고 평가하는 통합 자원으로 제시한다.