로봇 플래너도 포스트트레이닝으로 강화된다

핵심 요약

• 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다.
• 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다.
• 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다.
• 문제는 VLA 스킬 호출, 제어 코드 생성 등 서로 다른 로봇 제어 메커니즘이 있다는 것이다.
• 이를 해결하기 위해 하네스별 어댑터를 만들어 기록된 상호작용과 작업 결과를 연결하고, 실행 메커니즘은 고정하면서 공통 RL 파이프라인을 구성했다.
• 학습은 지도 학습 미세조정과 멀티턴 강화학습을 결합했다.
• LIBERO-PRO 벤치마크에서 9B 파라미터 플래너의 성공률이 18.1%에서 71.0%로 올랐고, 외부 메모리 없이도 Codex(GPT-4o)의 72.1%에 가까워졌다.
• 프레임워크와 학습된 플래너 체크포인트를 공개할 예정이다.