로봇 세계 모델로 복합 작업 학습을 자동화하다
원제 RoboCoach: World Models as Active Coaches for Compositional Robot Skills
추천 13댓글 1
Key Point
세계 모델로 상상된 실패를 감지해 학습 데이터를 효율적으로 선택하는 방식으로, 로봇이 자동으로 어떤 기술부터 개선할지 결정할 수 있게 하는 방법을 보여준다.
핵심 요약
- 로봇 조작 작업에서 재사용 가능한 기술을 여러 조합으로 활용할 때, 추가 시연을 통한 개선이 비용이 많이 드는 문제를 해결하는 ROBOCOACH 프레임워크를 제시했다.
- 세계 모델 기반의 코칭 시스템으로, 상상된 실패를 감지해 어떤 기술을 학습할지, 어느 전문가 모델을 업데이트할지를 자동으로 결정한다.
- Route-Imagine-Diagnose-Improve(RIDI) 루프는 공유 액션-조건부 세계 모델인 COACHWORLD 내에서 재사용 가능한 기술 전문가들을 실행하고, 진행 판단자가 실패하는 첫 번째 부작업을 기록한다.
- 기록된 실패 데이터를 집계해 어떤 부작업 시연을 수집할지, 어떤 전문가 어댑터를 업데이트할지를 선택한다.
- 22개 작업-정책 쌍에서 상상된 성공과 실제 배포 성공의 상관관계는 0.840으로 높게 나타났다.
- Franka 로봇에서 150개의 추가 부작업 시연만으로 성공률이 13.3%에서 75.0%로 상승했고, AgileX에서는 40.0%에서 83.8%로 상승했다.
- 학습된 전문가들은 네 가지 새로운 작업 조합으로 전이되어 평균 35.0%의 성공률을 달성했으며, 균등하게 수집한 시연으로 업데이트된 공유 정책은 0%의 성공률을 보였다.