로봇 학습을 인간 영상으로 확대하는 'ThinkWorld' 프레임워크
원제 ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
추천 55댓글 2
Key Point
라벨 없는 인간 영상을 로봇 학습에 직접 활용하는 방법이 제시되어, VLA 모델의 훈련 데이터 병목을 푸는 새로운 경로를 제공한다.
핵심 요약
- 로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다.
- 인간 영상은 행동 기록이 없어서 로봇 학습에 직접 활용하기 어렵다는 문제가 있다.
- ThinkWorld는 행동을 Chain-of-Dynamics(CoD)로 표현하여 세계 역학과 연결한다.
- CoD는 현재 상태에서 미래 상태로 가는 중간 동역학을 포착하는 이산 모션 토큰 시퀀스다.
- 행동 라벨 데이터로 CoD를 초기화한 뒤, 각 CoD가 예측한 미래가 관찰된 결과와 얼마나 일치하는지로 강화학습한다.
- 이 방식으로 행동 주석이 없는 영상도 상태 전이 감시로 직접 활용할 수 있게 된다.
- 인간과 로봇의 경험이 같은 추론 공간을 개선하는 구조다.
- 시뮬레이션과 실제 로봇 실험에서 인간-로봇 전이 학습과 미학습 작업·환경으로의 일반화가 효과적임을 입증했다.