인간·로봇 동작 예측 통합 모델 'Ropedia W0' 공개
원제 Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
추천 141댓글 2
Key Point
인간의 움직임 데이터로 학습한 로봇 제어 모델이 현실에서 어떻게 작동할지를 보여주는 기초 연구로, 로봇 에이전트의 자율성 향상에 필요한 예측 능력의 스케일링 가능성을 제시한다.
핵심 요약
- 세계 모델을 통해 구체화된 에이전트(로봇·인간)의 행동 결과를 예측할 수 있는데, 다양한 체형의 이동과 조작을 동시에 모델링하기는 어려웠다.
- Ropedia W0은 인간과 로봇을 아우르는 첫 자아중심형 이동·조작 월드 파운데이션 모델로, 10,000시간의 인간 시점 영상과 3,000시간의 로봇 데이터(통합 멀티모달 주석 및 품질 관리 포함)로 구성된 Xp-Data를 수집했다.
- 이동은 카메라 포즈로, 조작은 투영된 골격으로 인코딩하는 통합 운동학 표현을 사용하며, 로봇 골격은 체형별 순기구학과 광범위한 수동 키포인트 주석·수정을 결합한다.
- 고품질 인간형 원격조종 데이터 기반 장기 이동·조작 벤치마크인 Xp-Teleop을 새로 도입했다.
- 5개 크로스 체형 벤치마크(DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot)에서 제로샷 추론부터 소수샷·전체 데이터 학습까지 최첨단 성능을 보였다.
- 인간 시점 영상 미공개 데이터에서도 우수 성능을 나타냈으며, 인간 사전학습 데이터를 확대하면 인간·로봇 평가 모두에서 개선된다.
- 증류 후 모델은 실시간 1분 길이 시뮬레이션을 지원하여 라이브 VR 상호작용을 가능하게 한다.
- 정책 평가·모델 기반 계획·월드-액션 모델링 등 구체화된 의사결정을 위한 모델의 다양한 활용 가능성을 보여준다.