영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안
원제 Future Representation Distillation for Imagination-free World Action Models
추천 10댓글 3
Key Point
시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
- 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다.
- DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다.
- 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다.
- 14B 규모 영상 확산 백본을 사용하면서 11Hz에서 실시간 폐루프 제어를 수행하며, 기존 VLA와 WAM보다 더 높은 성공률을 달성한다.
- 더 강력한 영상 사전 정보와 추가 영상 데이터를 더 나은 로봇 제어로 변환할 수 있고, 행동 주석 없이 다른 로봇 본체의 영상 데모에서 새로운 로봇 작업을 학습할 수 있다.