영상 확산 모델으로 범용 행동 표현 학습하는 DreamX 발표
원제 DreamX: Video Diffusion Model is a Universal Latent Action Learner
추천 57댓글 2
Key Point
로봇과 인간 간 행동을 한 번에 학습하는 시스템으로, 다양한 실체와 환경에서 제로샷 전이가 가능해 로봇 학습 연구의 확장성을 크게 향상시킬 수 있다.
핵심 요약
- 비디오 확산 모델을 활용해 인간과 로봇 간에 공유 가능한 범용 행동 표현을 학습하는 DreamX를 제안했다.
- 기존 잠재 행동 모델은 시각적 변화와 행동을 얽혀 표현해 구현체 간 전이가 어려웠던 반면, DreamX는 비디오 모델의 생성 능력을 활용해 행동 관련 역학만 추출한다.
- 각 프레임을 1,200개에서 4개 토큰으로 압축해 300배 감소시키며, 의상이나 배경 같은 시각적 변화로부터 행동을 분리한 잠재 공간을 생성한다.
- LARY-Bench 벤치마크에서 현재의 잠재 행동 모델 중 최고 성능을 달성했다.
- 한 가지 설정에서 학습한 행동 표현을 다른 구현체, 환경, 행동 매개변수 조건에서 제로샷으로 전이 가능하며, 임의 조합의 비디오 간 전이도 지원한다.
- 이 공유 인터페이스를 통해 압축된 잠재 행동 공간에서 정책을 학습할 수 있어 비디오 확산 기반 정책의 계산 비용을 줄인다.