한 손 조작 넘어 양손 협력까지, 범용 로봇 제어 모델 DONIC
원제 DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations
추천 155댓글 2
Key Point
로봇이 두 손을 동시에 협력시켜 복잡한 조작 작업을 할 수 있도록 하는 첫 범용 모델로, 인간의 시연 영상만으로 학습할 수 있다는 점이 실용적 의미를 갖는다.
핵심 요약
- 기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다.
- 연구팀은 첫 범용 양손 추적기 DONIC과 229개 물체를 포함한 1,575개 시퀀스의 양손 상호작용 데이터셋 BiHOI를 공개했다.
- DONIC은 근처정책최적화(PPO)와 행동복제를 결합하고, 성공한 실행을 재훈련 데이터로 재활용하는 피드백 루프를 사용한다.
- 각 손의 역할에 맞춘 물체 중심 보상 함수와 클립 중심 이점 함수로 양손의 협력된 조작을 학습 가능하게 했다.
- 미세 조정 없이 학습 대상 물체의 미본 궤적에서 86.79% 성공률, 새로운 물체에서 57.32% 성공률을 달성했다.
- 기존 양손 추적 베이스라인 대비 각각 77.36, 45.73 백분포인트 높은 성능이다.