로봇이 직접 짜는 코드, VLM 없이도 작동한다
원제 Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement
추천 19댓글 2
Key Point
로봇이 대규모 언어 모델 없이 명시적인 코드로만 작동하면서 70% 이상의 성공률을 보인 새로운 접근법이기에, 로봇 자동화와 에이전트 개발의 패러다임 변화를 보여준다.
핵심 요약
- 로봇의 세계를 튜링 머신으로 보고, 상태 변화와 정책을 코드로만 표현하는 COAP(Code-Only-as-Policy) 방식을 제안했다.
- 카메라 이미지와 로봇 센서 데이터에서 상태를 명시적으로 추출·추적하며, 실행 시점에 VLM이나 VLA 모델 없이 코드만으로 의사결정을 수행한다.
- COAP의 장점은 세 가지다: 상태를 코드 변수로 명확히 저장할 수 있고, 제어 가능하고 빠르고 비용이 낮으며, 에러에서도 유연하게 복구한다.
- 같은 코드가 여러 에피소드에 걸쳐 작동하고, 다양한 작업이 하나의 공유 라이브러리를 사용해 능력이 누적된다.
- 이를 통해 AI 에이전트가 루프를 돌며 라이브러리를 개선하는 재귀적 자기 개선(RSI)이 가능해진다.
- RoboDojo의 42개 이중팔 작업에서 테스트 시간에 모델 없이 70.24% 성공률을 달성했다.
- COAP의 한계는 카메라 이미지에서 상태를 얼마나 정확히 표현하는지와 코드 로직이 얼마나 견고한지에 달려 있다.
- COAP은 에피소드를 넘어 적용되므로 VLA나 에이전트 모델을 학습시키는 효율적인 데이터 엔진으로도 활용 가능하다.