세 가지 능력을 하나로 담은 시각 인코더 ALPS 공개
원제 ALPS: Visual State Encoders for World Models
추천 26댓글 2
Key Point
월드 모델의 비전 백본이 예측, 제어, 검증을 모두 지원할 수 있는 통합 인코더를 처음 제시하여 로봇 학습 파이프라인의 설계 방식을 바꿀 수 있다.
핵심 요약
- World models의 시각적 기초로서 물리 상태 정보, 자연어 정렬, 픽셀 재구성을 모두 지원해야 한다는 주장에서 출발한 연구이다.
- 기존 인코더는 이 세 가지 중 하나나 둘만 담당하는 반면, ALPS는 ViT-B/16 기반 프리트레인된 시각 상태 인코더로 세 능력을 모두 통합한다.
- 정지 이미지와 텍스트만 사용하여 언어, 재구성, 공간적 대응 목표로 처음부터 학습한 후 교차 뷰 자기 증류로 미세 조정했다.
- 15개의 공개 인코더를 평가한 결과, ViT-B 모델 중 가장 낮은 LIBERO 상태 탐침 오류(3.5배 큰 V-JEPA 2-L과 동등)를 달성하면서 강력한 자연어 정렬과 정확한 픽셀 재구성을 유지했다.
- 냉동 상태의 ALPS 토큰은 자체 텍스트 타워와 함께 사용할 때 LIBERO에서 85.5% 최고 평균 정책 성공률에 도달했다.
- PushT, Wall, Granular 벤치마크의 세계 모델 계획 작업에서 주요 인코더들과 동등하거나 초과 성능을 발휘했다.
- 예측된 미래 토큰을 직접 픽셀로 디코딩하여 시각적 검사를 가능하게 하므로, 월드 모델에서 이해, 예측, 행동을 위한 공유 기초로서 시각 프리트레이닝을 확립하기를 목표로 한다.