픽셀 재구성 없이 로봇 제어하는 JEPA 모델 등장
원제 LeWAM: End-to-End World and Action Modeling with JEPAs
추천 64댓글 1
Key Point
기존 세계 모델 방식을 통합해 로봇 제어 성공률을 3배 이상 높이고 계획 속도를 획기적으로 개선한 새로운 아키텍처로, 시뮬레이션과 실제 로봇 모두에서 실용성을 입증했다.
핵심 요약
- Joint-embedding predictive architectures (JEPAs)는 픽셀 재구성 없이 간결한 잠재 세계 모델을 학습하는 방식인데, 기존 파이프라인은 시각 표현과 행동 조건 역학을 따로 학습한 뒤 정책을 추가했다.
- 레카이(LeWAM)는 엔드-투-엔드 JEPA로서 다음 잠재 상태 예측과 행동 흐름 매칭을 함께 학습하고, 잠재 상태에 등방 가우시안 제약을 적용한다.
- 이 설계로 하나의 모델이 정책 직접 실행과 학습된 잠재 역학으로 샘플 행동을 평가하는 효율적인 계획을 모두 지원할 수 있다.
- 접촉 많은 작업에서 성공률을 28.6%에서 89.7%로, 긴 지평선 작업에서 10.9%에서 46.2%로 개선했고, 계획 속도는 32.3배 빨라졌다.
- 시뮬레이션과 실제 로봇의 행동 모방 과제에서도 기존 방법들과 경쟁력 있는 성능을 보였다.
- 해석 가능성 분석 결과 LeWAM은 제어 관련 표현과 행동 분포를 학습해 테스트 시점의 계획과 제어를 효과적으로 안내한다.