자연언어로 세계 모델을 학습하는 LaLa-World
원제 LaLa-World: Scaling Latent World Models with Natural Language Actions
추천 37댓글 3
Key Point
로봇과 시뮬레이션, 실제 비디오 데이터를 모두 활용하는 통합 세계 모델로 기존 분산 학습 대비 훨씬 효율적인 계획과 정책 학습이 가능해진다.
핵심 요약
- JEPA 스타일의 잠재 세계 모델(LWM)이 비디오 생성 모델처럼 언어 인터페이스를 채택하면 서로 다른 도메인과 데이터 소스에서 학습할 수 있음을 보였다.
- LaLa-World는 시뮬레이션, 로봇 궤적, 이미지, 비디오 데이터를 함께 학습하는 언어 조건부 잠재 세계 모델이다.
- 수치형 액션과 시각적 변화를 모두 자연언어로 표현하여 이질적인 데이터셋에 대해 단일 미래 예측기를 학습할 수 있다.
- 예측기를 언어 모델 기반으로 구축하여 언어 조건을 해석하면서 미래 잠재 상태를 예측한다.
- LaLa-World는 도메인이나 작업별로 따로 학습된 기존 LWM보다 평균 MPC 계획 성능이 높으며, 이미지와 비디오 데이터 추가 시 성능과 액션 표현 변화에 대한 견고성이 더 향상된다.
- RAEv2 기반 비디오 생성 모델과 비교했을 때 LaLa-World는 학습 비용 6배 절감, 계획 속도 13.9배 단축으로 동등한 계획 성능을 달성한다.
- 사전학습된 LaLa-World를 초기화 모델로 사용한 LaLa-Policy는 액션과 미래 시각 표현을 함께 예측한다.
- LaLa-Policy는 LIBERO와 RoboCasa에서 Cosmos Policy와 경쟁력 있는 성능을 보이면서 추론 속도는 최대 5.5배 빠르다.