멀티모달 AI 에이전트, 로봇 제어는 여전히 어렵다
원제 RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
추천 31댓글 2
Key Point
최고 성능의 멀티모달 AI도 로봇 제어에서 단편적 성공에 그치며 작업 완료로 이어지지 않는 구조적 한계를 보여주는 결과물로, 현재 생성 AI의 물리 세계 응용 가능성을 재평가하는 데 필수적이다.
핵심 요약
- Hugging Face와 연구팀이 로봇 제어 능력을 평가하는 벤치마크 'RobotWorld'를 공개했다.
- 조작, 이동 조작, 보행, 운전, 비행 제어 등 84개 작업으로 구성되며, 명시적 상호작용 예산과 성공 판정 기준을 제공한다.
- Claude Astra, Claude Opus 5.5 등 주요 멀티모달 에이전트를 테스트한 결과, 이미지 분할, 카메라 보정, 공간 추정 등 정교한 인식 및 제어 워크플로우를 구축할 수 있음을 확인했다.
- 그러나 이들 능력이 실제 작업 완료로 일관되게 이어지지 않는다는 문제가 드러났다.
- 에이전트들은 목표 자세에 도달했어도 작업 관련 객체 상태를 놓치거나, 비효과적 행동을 수정하지 못하거나, 완료하지 않은 작업을 완료한 것으로 착각한다.
- Astra는 공간적·제약된 접촉 작업에서 더 성공적인 반면, Opus 5.5는 연속 균형 유지 및 시간 기반 상호작용 작업에서 더 잘 수행한다.
- 이 벤치마크는 현재 에이전트의 능력 격차를 체계적으로 드러내 더 신뢰할 수 있는 로봇 제어 시스템 개발의 구체적 목표를 제시한다.