로봇 학습을 위한 GPU 병렬 멀티태스크 강화학습 프레임워크

핵심 요약

• GPU 병렬 시뮬레이션 환경에서 다양한 로봇 조작 작업을 효율적으로 학습·평가할 수 있도록 설계된 Hebero 벤치마크가 공개되었다.
• Hebero는 Isaac Lab 기반의 GPU 병렬 벤치마크로, 40개의 이질적인 작업 전체에 걸쳐 하나의 정책을 공동으로 학습하고 평가할 수 있다.
• 병렬 레플리카 수를 증가시키면 고정된 벽시계 시간 내에서 성공률이 향상되는 스케일링 효과가 확인되었다.
• 희소 보상과 제한된 데모를 활용한 학습을 지원하기 위해 Demonstration-Guided Policy Optimization(DGPO) 프레임워크를 제안했다.
• DGPO는 데모를 밀집 추적 보상과 비대칭 값 학습에 재사용하며, 학습기별 데모 인터페이스에 대한 통제된 비교를 PPO 내에서 가능하게 한다.
• DGPO 내 새로운 알고리즘 IW-ABC는 작업별 학습 진행 신호를 활용해 적응형 행동 복제(ABC)를 조율하고, 과제 진행에 따라 데모 가이드를 완화하며, PPO 업데이트 시 낙오 작업에 가중치를 부여한다.
• IW-ABC는 작업당 50개 데모로 90.1%의 상태 입력 평균 성공률을 달성하며, 가장 강력한 기준선 FAMO-ABC를 7.8 포인트 앞질렀다.
• 시각 입력 기반의 경우 93.5%의 평균 성공률에 도달했다.
• 실제 로봇 실험에서 시뮬레이션으로 학습된 단일 멀티태스크 정책이 물리적 Piper 로봇에서 4가지 작업을 성공적으로 수행했다.