로봇이 생각을 행동으로 이어가는 법, 새로운 벤치마크로 진단한다
원제 Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation
추천 50댓글 4
Key Point
로봇 조작 작업에서 'AI가 생각하되 행동도 정확해야 한다'는 문제를 측정하는 첫 체계적 도구이며, 현재 최고 성능 모델조차 Mind2Act 작업에서 12%만 성공해 로봇 intelligence의 근본적 한계를 드러낸다.
핵심 요약
- 로봇의 embodied intelligence는 과거 관찰에 기반한 인지 추론, 정확한 신체 실행, 환경 피드백을 통한 두 능력의 조합 등 세 가지 보완적 능력이 필요하다.
- 기존 벤치마크는 추론과 실행을 같은 작업으로 평가하거나 별개로 평가해 실패 원인이 추론·실행·조합 중 어디서 비롯되는지 알 수 없다.
- Mind2Act World는 5개 실제 응용 영역에서 30개 시뮬레이션 조작 작업으로 이루어진 진단 벤치마크로, 각 작업은 3개 난이도와 2개 장면(Clean, Random) 설정을 가져 총 180개 구성을 제공한다.
- Mind 테스트는 과거 관찰 기반 의사결정, Act 테스트는 정확하고 시의적절한 실행, Mind2Act는 행동 결과가 나중 의사결정을 안내하는 폐루프 작업으로 세 가지 관점을 제시한다.
- 세 관점 비교를 통해 시스템이 특정 능력을 갖지 못했는지, 아니면 이미 가진 능력을 조합하지 못했는지 구분할 수 있다.
- 진단 도구는 세 가지 대표 시스템의 실패 에피소드를 Mind·Act·조합으로 분류하고 각 시스템을 프로필 카드로 요약한다.
- 멀티모달 에이전트, Vision-Language-Action 모델(VLA), World-Action 모델(WAM)을 평가한 결과 한 관점에서의 능숙함이 Mind2Act 작업으로 이어지지 않는다.
- 가장 강한 에이전트는 Mind 에피소드 52.7%, Act 에피소드 39.0%에서 성공했지만 Mind2Act 에피소드에서는 12.0%만 성공했다.
- 가장 강한 에이전트는 작업 상태를 유지하지만 지속적 접촉에 어려움을 겪고, 엔드투엔드 정책은 학습된 동작은 실행하지만 작업 상태를 거의 유지하지 못한다.
- 결과는 환경 피드백을 통한 추론과 실행의 조합이 주요 미해결 문제임을 시사한다.