사전학습된 로봇 정책을 강화학습으로 미세 조정하는 PARTS 프레임워크
원제 From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention
추천 12댓글 2
Key Point
로봇이 사전학습 정책을 효율적으로 개선하되 인간 개입을 최소화하는 실용적인 강화학습 방법론을 제시하므로, 현실적인 로봇 자동화 배포를 앞당길 수 있는 기술이다.
핵심 요약
- 사전학습된 로봇 기초 정책이 장기 작업의 대부분은 수행하지만 일부 핵심 부분작업에서 반복 실패하는 문제를 해결한다.
- PARTS는 병목 부분작업에 강화학습을 집중 적용하면서 전체 작업 완료 보상이 드물 때도 학습할 수 있다.
- 고정된 사전학습 정책을 기반으로 하되 에이전트가 생성한 선택기와 검증기가 국소 보상을 제공하고 잔여 수정을 활성화한다.
- 온라인 강화학습과 성공 재가중 재훈련을 결합하며, 각 재훈련된 정책을 재배포하여 추가 경험을 수집한다.
- 바이매뉴얼 작업에서 32%에서 61%로, 단일팔 프랑카 작업에서 50%에서 95%로 전체 작업 성공률을 향상시킨다.
- 기존 실제 강화학습 미세 조정 방법 대비 같은 로봇 롤아웃 예산으로 25% 이상 높은 성공률을 달성하면서 인간 개입을 줄인다.