사람의 물리적 행동을 돕는 AI 어시스턴트 평가 벤치마크 공개
원제 InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
추천 123댓글 2
Key Point
지능형 어시스턴트가 실제로 사람의 물리적 작업을 도울 수 있는지 검증할 수 있는 표준화된 평가 체계가 처음 등장했으며, 현재 최신 모델들의 성능 한계가 명확히 드러났기 때문이다.
핵심 요약
- 착용형 기기의 다중모달 대형언어모델(MLLM) 어시스턴트가 사용자를 가이드하고 지시하는 상황을 평가하기 위해 InteractiveWorld라는 검증 가능한 환경을 제안했다.
- 기존 로봇 중심 시뮬레이터와 달리 InteractiveWorld는 AI 어시스턴트가 사람 에이전트에게 지시하고, 사람이 관찰·이해·독립적으로 행동하는 폐루프 상호작용을 현실적으로 모의한다.
- 어시스턴트의 명령이 실제 결과를 좌우하며, 상태 기반 리워드로 검증 가능하게 채점되는 방식이다.
- 이를 기반으로 6개 카테고리 120개 다중턴 과제로 구성된 InteractiveBench 동적 벤치마크를 도입했다.
- Claude 3.5 Sonnet을 포함한 12개 최신 MLLM을 실험한 결과, 장기 복합 작업에서 최고 성능 모델도 지시(Guidance) 과제 20%, 계획(Planning) 과제 25% 수준에 불과했다.
- 이는 현재 MLLM이 물리 세계에서 사람을 돕는 신뢰할 만한 어시스턴트로서 아직 멀었음을 보여준다.