로봇 집단의 경험을 공유해 정책 학습 향상

핵심 요약

• 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다.
• 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다.
• 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다.
• 추가 전문가 시연이나 정정 행동을 모으지 않으면서도 이를 실현한다.
• 장애 허용 비동기 학습 시스템(FATS)이 로봇 집단 내 중단에도 불구하고 경험 수집, 정책 최적화, 정책 배포를 조정한다.
• 실제 조작 작업 5가지에서 최종 정책들은 93.3~99.2%의 성공률을 달성했으며, 학습에 미포함된 로봇에서 작업당 120회 시험으로 평가했다.
• 같은 수집 시간으로 더 큰 집단일수록 더 많은 경험을 제공하고, 평가 규모에서 FERT는 일반적으로 더 높은 성공률을 달성한다.
• 96개 로봇으로 학습하는 다단계 휴대폰 포장 작업에서 성공률이 79.2%에서 98.3%로 상향되었다.