세계 모델의 표현 기하학을 다시 설계하다
원제 Anisotropic Representations Improve Planning in JEPA World Models
추천 19댓글 1
Key Point
표현 정규화 방식의 변경이 세계 모델 기반 계획에 미치는 영향을 실증적으로 보여주므로, 이를 따르는 연구나 실제 모델 개발에 참고할 수 있다.
핵심 요약
- JEPA 계열 잠재 세계 모델은 행동 조건 역학을 표현 공간에서 학습하며, 보통 유클리드 거리로 목표까지의 거리를 계산해 행동 후보를 평가한다.
- 기존 동적 모델은 표현 붕괴를 막기 위해 등방 가우시안 정규화를 사용했는데, 이것이 예측은 정확하더라도 작업의 실제 비용과 다른 기하학을 만들 수 있다.
- 연구팀은 이 불일치를 해결하기 위해 AnisoWM을 제안했으며, 고정된 추적과 비등방성 제약 하에서 학습 가능한 대각 공분산을 사용한다.
- 예측 목표와 정규화 목표만 변경되고, 예측 목표와 유클리드 기반 계획자는 그대로 유지된다.
- 분석에서 예측 손실에 따른 분산 할당 패턴, 학습 분포에 따른 의존성, 그리고 유도된 메트릭이 계획 후회를 줄이는 조건들을 특성화했다.
- 네 개의 시각 제어 환경에서 AnisoWM은 LeWorldModel 대비 모든 경우에 계획 성공률을 개선했으며, 잠재 계획 비용도 실제 작업 결과와 더 잘 일치한다.