로봇 기초모델, 지속학습으로 새 작업 빠르게 습득
원제 ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
추천 15댓글 2
Key Point
로봇이 새로운 작업을 배우면서 기존 능력을 유지해야 한다는 실제 배포 문제를 오프폴리시 RL로 해결했으며, 31~68% 훈련 시간 단축으로 실용성을 입증했습니다.
핵심 요약
- 로봇 기초모델(RFM)의 강화학습 미세조정은 데모 이상의 성능을 낼 수 있지만, 실제 배포에는 새 작업을 효율적으로 학습하면서 기존 능력을 잃지 않아야 한다.
- 기존 지속학습 RL 방식은 온폴리시 업데이트로 잊음 현상을 줄이지만 전이학습이 제한적이고, 오프폴리시 방식은 단일 작업 샘플 효율은 높이지만 작업 간 지속성 문제를 해결하지 못한다.
- ACCRUE는 경량 액터-크리틱 네트워크를 작업 간에 보존하는 오프폴리시 RL 프레임워크로, 각 단계가 이전 RL에서 습득한 행동과 가치 지식을 재사용한다.
- 상속된 크리틱은 현재 작업 데이터에만 적응하고 액터 학습을 지도하며, 소수의 보관된 에피소드에 대해 액터를 캐시된 목표로 증류하여 과거 행동을 보존한다.
- 고정된 시각 특성은 상속된 학습자와 재생 버퍼를 기본 정책 업데이트와 호환되게 유지한다.
- 시뮬레이션과 실제 로봇 조립 작업에서 ACCRUE는 후속 작업 학습을 가속화하고 거의 망각 현상 없이 실제 로봇 훈련 시간을 31.0~68.5% 단축한다.