로봇 범용 작업 위한 대규모 비전-언어 모델, 실제 얼마나 쓸 수 있나

핵심 요약

• 로봇이 장면을 이해하고 행동하며 과제 조건을 충족하려면 어떤 능력이 필요한지 평가하기 위해 '구현된 에이전트 아레나'라는 벤치마크를 소개한다.
• 이 벤치마크는 기하학, 공간 추론, affordance, 작업 계획, 조작 5개 영역을 평가하며, 32개 기존 데이터셋과 카메라·동작·깊이·스케일 추정을 위한 새로운 168개 케이스 GeoProbe로 총 1,000개 사례를 구성한다.
• 10개 VLM 에이전트를 평가한 결과, 폐쇄형 가중치 모델들이 5개 영역 모두에서 앞섰으나 오픈 가중치 VLM은 공간 추론은 유용하지만 계획과 조작 성공률이 훨씬 낮았다.
• 비슷한 기하학적 오류 아래에는 서로 다른 스케일·형태 왜곡이 숨어 있으며, 유효한 영역 추정도 실제 사용 가능한 행동 지점을 식별하지 못한다.
• 실행 중 에이전트는 초기 부분 목표는 달성하면서도 객체 제어를 잃거나, 잘못된 대상 영역에 행동을 연결하거나, 필요한 물리적 상태 달성 전에 멈출 수 있다.
• 추가 계산이 이런 실패를 항상 해결하지 못하며, 코드 수정은 실행을 복구할 수는 있으나 작업 완성까지는 못 가고, 자가 검토는 올바른 판단을 역으로 뒤집을 수 있다.
• 모델별로 실패 비용이 다르게 나타나는데, 가장 강한 계획 수립 모델은 신체 제어 작업에 실패한 토큰을 집중시키는 반면, 다른 모델들은 전체 절차에 걸쳐 광범위하게 실패한다.
• 성공적인 복구 사례에서는 피드백이 누락된 전제 조건을 복원하고 남은 작업을 진행하는 데 활용된다.