손재주 많은 로봇 제어, 3D 점군으로 배운다
원제 PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
추천 43댓글 2
Key Point
기존 손재주 로봇 조작 모델은 평면 이미지와 1차원 관절각만 다루며 3D 공간 기하를 놓쳤던 근본적 한계를 점군으로 해결한 접근법이 기존 방식을 11.7포인트 이상 추월했다.
핵심 요약
- 세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다.
- Point World Action Model (PointWAM)은 환경과 손을 공유 시공간 좌표에서 3D 점 궤적으로 명시적, 분리적으로 표현하고 함께 예측한다.
- 작업별 물체 또는 키포인트 선택 없이 대규모 인간 시연 영상으로 사전학습할 수 있으며, 컬러 포인트 클라우드와 언어 지시로부터 장면과 손이 3D 공간에서 시간 경과에 따라 어떻게 공진화하는지 예측한 후 손 동작을 로봇 행동으로 재타겟팅한다.
- 인간 영상 사전학습만으로 DexJoCo 성공률을 56.9 포인트 향상시켰고, 장면 궤적 감시가 손만 예측할 때보다 10.9 포인트를 더하면서, 둘을 모두 적용하면 열 개 DexJoCo 과제에서 이전 최고 기록을 11.7 포인트 앞지르고 실제 로봇 환경에서 강력한 비전-언어-행동 모델(VLA)을 능가했다.