소형 언어모델로 로봇 조작 명령 프로그래밍하기

핵심 요약

• 로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다.
• 연구팀이 공개한 CaPtain은 소형 오픈소스 비전-언어 모델(Qwen 3.5-4B)을 미세조정과 강화학습으로 독립적인 로봇 정책 에이전트로 훈련하는 파이프라인이다.
• 파이프라인은 CaPtain-Harness라는 프레임워크 위에서 동작하며, 로봇 API, 저수준 인지·기하학·안전 이동 원시 동작을 시뮬레이션과 실제 하드웨어에서 노출한다.
• 먼저 GPT-4o Astra로 생성한 합성 궤적으로 감독학습(SFT)으로 기본 모델을 정렬하고, 다중 턴 강화학습을 적용한다.
• 다중 턴 강화학습에서 수십 개 요청의 물리적 효과가 나중 턴에 드러나므로, 시뮬레이터 특권 상태를 읽어 각 요청의 성공 확률 변화로 신용을 할당하는 물리 비판자(physical critic)를 도입했다.
• Qwen 3.5-4B는 미세조정 후 LIBERO 벤치마크 55.4% 정확도, 강화학습 후 73.8%에 도달했고, LIBERO-PRO에서는 78.5%로 프론티어 모델 에이전트를 능가했다.
• 강화학습 성능 개선이 세 가지 섭동 테스트 스위트에서 +17.6~+21.2포인트 지속되며, 목표 도메인 훈련 없이도 SimplerEnv WidowX에서 83.3%를 달성했다.
• 시뮬레이션만으로 적응 후 실제 로봇에서도 작동하며, 모든 코드·데이터·모델 가중치를 공개한다.