로봇이 직접 짜는 코드, VLM 없이도 작동한다
Key Point
로봇이 대규모 언어 모델 없이 명시적인 코드로만 작동하면서 70% 이상의 성공률을 보인 새로운 접근법이기에, 로봇 자동화와 에이전트 개발의 패러다임 변화를 보여준다.
핵심 요약
- 로봇의 세계를 튜링 머신으로 보고, 상태 변화와 정책을 코드로만 표현하는 COAP(Code-Only-as-Policy) 방식을 제안했다.
- 카메라 이미지와 로봇 센서 데이터에서 상태를 명시적으로 추출·추적하며, 실행 시점에 VLM이나 VLA 모델 없이 코드만으로 의사결정을 수행한다.
- COAP의 장점은 세 가지다: 상태를 코드 변수로 명확히 저장할 수 있고, 제어 가능하고 빠르고 비용이 낮으며, 에러에서도 유연하게 복구한다.