세계모델의 핵심 정보를 압축 저장하는 ALeWM 기법
원제 Adaptive Latent Capacity for World Models
추천 12댓글 2
Key Point
예측 불필요한 정보를 제거하고 필요한 정보만 압축 저장함으로써 세계모델의 효율성과 계획 능력을 동시에 높이는 방법을 제시한다.
핵심 요약
- JEPA 기반의 세계모델인 ALeWM(Adaptive LeWorldModel)을 제안한 논문으로, 넓은 잠재공간의 앞부분에 예측에 필요한 정보를 집중시키는 방식을 소개한다.
- ALeWM은 접두사(prefix) 길이에 대한 수열 조건부 분포를 학습하고, 샘플링된 입력 접두사로부터 다음 임베딩 전체를 추정하도록 예측기를 훈련한다.
- 기존 붕괴 방지 목적함수들은 잠재 좌표 전체에 걸친 변동만 유도하고 예측 중요도에 따라 정렬하지 않는 문제를 해결하기 위해, MixSIGReg이라는 새로운 정규화 기법을 도입했다.
- MixSIGReg은 가우시안 활성 접두사가 있는 혼합분포와 나머지 좌표의 영(zero) 값을 활용해 마스크된 임베딩을 정규화한다.
- MixSIGReg의 혼합분포가 앞 좌표 블록에는 높은 분산을, 뒤 좌표 블록에는 낮은 분산을 할당함을 분석으로 보였다.
- 명시된 가정 하에서 예측에 가장 유용한 정보를 앞 블록에 배치할 때 예측 오류가 최소화됨을 이론적으로 증명했다.
- 알려진 상태 변수를 가진 제어 가능한 동역학계와 목표 조건부 시각제어에서 실험한 결과, ALeWM이 조정된 고정폭 LeWM보다 일관되게 높은 평균 성공률을 달성하면서 평균적으로 더 낮은 계획 용량을 사용했다.