사족 로봇을 위한 언어 조종 조작 정책 개발
원제 WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation
추천 16댓글 2
Key Point
언어 명령에 따르는 사족 로봇의 조작 정책이 없었는데, 이제 기존 팔 로봇 모델을 효율적으로 전이해 실제 로봇에 배포할 수 있게 되었다.
핵심 요약
- 기존 팔 로봇용 World Action Model(WAM)을 사족 보행·조작 로봇으로 적응시키는 WAM-Policy 방법을 제안했다.
- 첫 번째 단계에서 Cross-Morphology Policy Adaptation and Acceleration으로 팔 중심 모델을 사족 로봇에 맞추고, 온폴리시 자기 증류(OPSD)로 한 개의 비디오와 두 액션 스텝만 사용해 학생 모델로 압축한다.
- 압축된 학생 모델은 성능이 교사 모델에 한정되므로, 두 번째 단계에서 강화학습으로 교사를 개선하고 다중 교사 온폴리시 증류(M-OPD)로 여러 전문 모델을 하나의 소수 스텝 학생으로 통합한다.
- QLM-Bench 10개 시뮬레이션 작업(원격 조종 없이 합성한 1,000개 데모 포함)에서 전이된 정책은 77.0% 성공률, OPSD 학생은 76.7%를 유지하면서 샘플링 속도는 14배 빨라진다.
- 작업별 강화학습과 M-OPD 적용 후 성공률은 85.0%로 향상되며, 실제 Unitree Go2 Air 로봇에도 OPSD 학생 모델을 배포했다.
- 결과적으로 추론 비용의 일부만 사용하면서도 더 강력한 사족 로봇 정책을 달성한다.