Hugging Face 논문AI · 머신러닝

사전학습 로봇 정책을 강화학습으로 미세조정하는 PARTS 프레임워크

원제 From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention

추천 12댓글 2Sichang Su, Benjamin Yang, Zhiyun Deng 외
Key Point

로봇 매니퓰레이션 작업에서 사전학습 모델의 실패 부분만 효율적으로 개선하는 새로운 강화학습 접근법으로, 적은 인간 개입과 실제 데이터로 작업 성공률을 대폭 높일 수 있는 방법을 제시한다.

핵심 요약

  • 사전학습된 로봇 기초 정책은 장시간 작업의 대부분을 수행하지만 몇 가지 중요한 부분작업에서 반복 실패한다.
  • 추가 전체 작업 시연을 수집한 지도학습 미세조정은 정책이 이미 잘하는 행동 반복을 요구한다.
  • 강화학습 미세조정은 희소 보상으로 장시간 작업을 푸는 기존 방식의 한계를 극복하기 위해 제시된다.
  • PARTS는 병목 지점에 집중 연습하면서 최소한의 인간 개입으로 훈련 과정을 진행하는 부분작업 강화학습 프레임워크다.
  • 동결된 사전학습 정책이 전체 실행 중 기본 행동을 제공하고, 에이전트 생성 선택자와 성공 검증자가 잔차 보정을 활성화하며 국소 결과 보상을 제공한다.
  • 이 보상은 전체 작업 성공이 드물 때도 성공한 부분작업에서 학습하도록 지원한다.
  • 훈련은 온라인 강화학습과 성공 재가중 재훈련을 결합하고, 각 재훈련된 잔차 정책을 추가 경험 수집에 재배포한다.
  • 양팔 YAM 작업에서 완료 성공률이 32%에서 61%로, 단일팔 Franka 작업에서 50%에서 95%로 개선되었으며 평균 작업당 수십 분의 실제 강화학습 롤아웃을 사용했다.
  • 동일한 로봇 롤아웃 예산 조건에서 기존 실제 강화학습 미세조정 방법 대비 전체 작업 성공률을 25% 이상 향상시키면서 인간 개입을 덜 필요로 한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗