로봇 비전-언어 모델과 세계 모델을 연결한 WAVE-0 공개
원제 WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction
추천 24댓글 1
Key Point
기존 VLA 정책의 행동 결과 예측 부재 문제를 경량 세계 모델로 해결하고 실제 로봇 작업에서 35%p 향상을 이루어 실용적 로봇 조작 능력이 어떻게 개선되는지 보여준다.
핵심 요약
- Vision-language-action(VLA) 정책은 로봇 조작에 뛰어나지만 행동의 환경적 결과를 명시적으로 모델링하지 않는 한계가 있다.
- World action models(WAM)은 미래 예측을 포함하지만 대부분 비용이 큰 비디오 생성에 의존하거나 대규모 영상 학습이 필요하다.
- WAVE-0(World-model-Augmented VLA Execution)은 경량 잠재 세계 모델로 VLA와 WAM을 연결하는 프레임워크다.
- 사전학습된 VLA의 의미 이해를 명시적 미래 예측과 결합해 예상되는 행동 결과가 직접 행동 생성을 가이드한다.
- 2억5700만 파라미터 세계 모델은 VLM이 생성한 잠재 행동 계획을 예측된 미래 표현으로 변환해 행동 전문가를 조건화한다.
- 세계 모델은 픽셀 재구성이나 대규모 영상 학습 없이 반사실적 순위 목표로 정답 로봇 행동에서만 직접 학습된다.
- RoboTwin 2.0에서 91.47%, LIBERO에서 98.7% 성공률을 달성했다.
- LIBERO-Plus, LIBERO-Pro, LIBERO-Para에서 각각 88.0%, 61.4%, 75.0% 성공률을 기록했다.
- 실제 로봇 작업에서는 기존 방식의 38.3%에서 73.3%로 성공률을 향상시켰다.