영상 기초 모델, 손 추적과 촉각 정보까지 동시 추정
원제 RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
추천 19댓글 1
Key Point
로봇이 인간 영상으로부터 학습할 때 물리적으로 일관된 손 움직임과 접촉 정보가 필요한데, 기존 추적기는 이를 정확히 추정하지 못했습니다. 이 연구는 단일 카메라 영상에서 포즈와 촉각을 동시에 추정함으로써 인간-로봇 모방 학습의 데이터 품질을 크게 개선합니다.
핵심 요약
- 동영상 기초 모델을 기반으로 단일 카메라 영상에서 손 포즈와 촉각 정보를 함께 추정하는 RLHND를 제안했다.
- 사전 학습된 Cosmos 3 비디오 확산 모델을 결정론적 특성 추출기로 변환하여 손 움직임과 손-물체 상호작용에 대한 학습된 사전 정보를 추적에 적용한다.
- 포즈 추정 시 해부학적으로 타당한 관절각도를 예측하고, 동일 영상 또는 같은 배우가 촬영한 영상에서 일관된 손 모양을 유지하도록 선택적 컨디셔닝을 지원한다.
- 촉각 정보 추정을 위해 별도의 촉각 전문가 스트림을 훈련하여 손 표면의 조밀한 접촉과 힘을 예측한다.
- LBS 기반 특성 확산으로 비용이 큰 버텍스별 어텐션 없이도 버텍스 수준의 특성 추출을 가능하게 했다.
- 포즈 추정, 접촉 및 힘 추정 모두에서 다양한 벤치마크 데이터셋에 대해 최첨단 성능을 달성했다.
- 손 재타겟팅 결과와 실제 로봇 실험을 통해 로봇 학습에서의 실용성을 입증했다.