로봇 모방학습을 위한 다양한 시연 자동 발굴 기법

핵심 요약

• 로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다.
• 연구팀이 강화학습(RL)을 배포 가능한 제어기가 아닌 하위 시각-운동 모방학습용 데이터 생성기로 활용하는 접근법을 제시했다.
• 여러 성공 해결책이 단일 방식을 반복 수집할 때보다 더 넓은 범위의 성공적 궤적을 포괄한다는 게 핵심 가정이다.
• DiscoDemo는 특권 정보를 갖춘 잠재 변수 조건부 RL 생성기를 병렬 역순 커리큘럼과 성공 게이트 다양성 목표로 훈련해 과제 성공을 유지하며 다양한 해결책을 발굴한다.
• 훈련된 생성기는 여러 성공적 폐루프 행동을 산출하며, 이를 안전성 필터링 후 하위 모방학습용 정적 데이터셋으로 내보낸다.
• 4개 조작 작업 전반에서 DiscoDemo는 더 넓은 성공 상태 커버리지를 달성했다.
• 시뮬레이션에서 하위 모방학습의 성공률이 강력한 기준 대비 40%에서 62%로, 실제 로봇에서는 39%에서 78%로 각각 증가했다.
• 성공 해결책의 다양성이 사전학습된 흐름-매칭 VLA(Vision Language Action)의 모방학습을 개선하며, 교정 데이터 수집 방식과 상호보완적임을 시사한다.