에이전트 비전 작업 평가 벤치마크 공개

핵심 요약

• 비전-언어 모델(VLM)의 에이전트 환경에서의 성능을 평가하기 위해 AgentVQA 벤치마크를 개발했다.
• 웹 에이전트, 로봇, 일인칭 영상, 게임, 공간 계획 등 5개 도메인의 에이전트 시나리오를 포함한다.
• 23개 소스 데이터셋에서 1000개의 도전적인 실제 에이전트 예시를 수동으로 선별하고 오프라인 평가용으로 적응시켰다.
• 벤치마크는 상호작용 환경의 현실적 시나리오를 보존하며, 모델 순위가 온라인 평가 결과와 일치한다.
• 평가된 22개 모델 중 최고 성능이 58.5% 정확도에 불과하다.
• 오류 분석 결과, 작업 이해 부족이나 논리 추론 실패보다는 현재 및 변화하는 시각적 상태를 정확히 파악하지 못하는 것이 주요 원인이다.
• UI 요소 위치 파악, 움직임 해석, 시간에 따른 상태 변화 추적, 3D 공간 관계 추론 등에서 실패가 집중된다.