인간 영상만으로 로봇 학습 성능 68% 높여

핵심 요약

• World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다.
• 연구팀이 WATCH라는 크로스 영상 사전학습을 제안했으며, 다양한 환경에서 수집한 작업 쌍의 인간 시연 영상으로 학습한다.
• 한 시연 영상과 행동을 조건으로 다른 시연 영상의 행동과 미래 프레임을 동시에 예측하도록 훈련해, 작업 관련 상호작용이 장면과 시연자를 넘어 전이되도록 유도한다.
• 로봇 시연 없이 인간-인간 쌍 영상만으로도 학습 가능하며, 로봇 사전학습 전에 신체 간 움직임 정렬 개선과 미학습 로봇에 대한 더 나은 행동·영상 예측을 보여준다.
• 로봇 사후훈련 후 MimicDroid에서 Cosmos Policy는 성공률 40.9%에서 68.3%로, Cosmos3는 59.8%에서 77.7%로 상승했으며 미학습 환경에서 가장 큰 개선을 달성했다.
• 문맥 없는 사후훈련에서도 로봇 신체 간 성능 향상이 유지되며, 크로스 영상 예측이 전이 가능한 world-action 표현 학습의 확장 가능한 방식임을 입증한다.