로봇 영상 예측 모델 DreamTrue, AgiBot World Challenge 2026 우승
원제 DreamTrue: Action-Faithful Robot World Model with Counterfactual Post-Training
추천 37댓글 2
Key Point
로봇 학습에서 행동 추종과 물리적 타당성이라는 두 가지 핵심 문제를 동시에 해결하는 기법이 실제로 결함률을 48%에서 6%로 낮췄으며, 국제 대회 우승으로 검증되어 로봇 월드 모델 발전에 중요한 진전을 보여준다.
핵심 요약
- 로봇의 행동에 충실하고 물리적으로 타당한 영상 예측이 가능한 다중 시점·다중 로봇 대응 월드 모델 DreamTrue를 제시한다.
- 기존 로봇 데이터셋으로 학습할 때 발생하는 두 가지 문제를 해결한다: 부정확한 캘리브레이션이 행동 추종을 방해하고, 실패 상호작용의 제한적 범위가 성공 편향을 만든다.
- 행동 궤적을 이미지 공간 조건으로 변환하고 오프라인 기하학 캘리브레이션을 도입해 다양한 로봇 체형 간 행동 추종을 개선한다.
- 기록된 행동 궤적을 수정하고 더 넓은 범위의 행동 및 접촉 환경에서 미래 영상을 생성하는 반사실적 사후 학습을 도입해 상호작용 범위를 확대한다.
- 인간 주석이 달린 영상 데이터셋을 구축해 로봇·물체·상호작용 결함을 학습한 체화 비디오 보상 모델을 훈련해 예측 품질 평가 기반을 마련한다.
- 보상 모델의 점수가 강화학습 사후 학습을 더욱 물리적으로 타당한 상호작용 결과로 유도한다.
- AgiBot 환경에서 최첨단 행동 추종을 달성하며 인간 평가 상호작용 결함률을 48.12%에서 6.25%로 감소시킨다.
- AgiBot World Challenge 2026의 월드 모델 트랙에서 1위를 차지한다.