로봇 손가락 조작, 앞선 시각 감각으로 성공률 11% 높였다
원제 DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
추천 26댓글 2
Key Point
로봇이 손가락 관절의 복잡한 움직임을 미리 예측하는 방식이 기존 대비 단순화되면서, 실제 환경에서 정교한 조작 작업의 성공률이 크게 올랐다.
핵심 요약
- 정교한 손가락 조작을 위해 로봇이 장면과 손의 공간 변화를 미리 예측해야 하는데, 기존 방식은 명시적 미래 예측에 의존했다.
- DexForesight는 세계 모델을 정책의 잠재 공간에 주입해 공간 예측을 암묵적으로 학습하는 프레임워크다.
- 오프라인 장면 깊이 정보, 손 기하학, 시연 궤적으로부터 행동 조건부 세계 모델을 학습한다.
- 세계 모델은 3D 손 포인트 움직임과 시각 특징 변화를 예측하며, 손가락이 카메라에 가려진 부분까지 포함한 손 역학과 장면 변화를 캡처한다.
- 학습 후 정책 쿼리를 세계 모델 쿼리와 정렬해 학습된 공간 역학을 정책 잠재에 전달한다.
- 배포 시에는 정책만 사용하며, RGB 이미지와 언어, 로봇 상태만으로 동작한다.
- DexJoCo 시뮬레이션 11개 과제에서 기본 정책 대비 성공률을 49.4%에서 60.5%로 높였다.
- 실제 로봇 3개 과제에서는 58.3% 성공률을 달성했으며 최강 베이스라인 50.0%보다 8.3%포인트 우수하다.