600번의 실험으로 발견한 JEPA 월드 모델의 최적 설계
원제 After 600 experiments, here's what I discovered about JEPA world models
154 포인트댓글 30
Key Point
JEPA 월드 모델의 병목이 예측이 아니라 계획 방식임을 실험으로 증명했고, 재학습 없이 네 가지 방법으로 성공률을 3배 이상 향상시킨 구체적 기법들을 제시한다.
핵심 요약
- JEPA(joint-embedding predictive architecture)는 픽셀 생성 대신 임베딩 공간에서 예측하는 월드 모델로, 인코더·예측기·플래너 세 부분으로 구성된다.
- LeWM 모델을 600회 실험한 결과, 예측 정확도 개선보다 계획 방식 변경이 더 큰 효과를 발휘했다.
- LeWM의 예측기를 완벽한 물리 시뮬레이터로 바꿔도 성공률이 78%에서 77%로 거의 변하지 않아, 병목은 모델의 예측이 아닌 사용 방식임을 확인했다.
- 첫 번째 개선: 25스텝 단위 부분 목표를 사용하니 75스텝 장기 과제의 성공률이 22%에서 80%로 증가했고, 이는 계획 지평이 약 25스텝이라는 뜻이다.
- 두 번째 개선: 학습 데이터의 모든 프레임을 임베딩하고 그래프로 연결한 '메모리 그래프'로 부분 목표를 자동 선택하니 성공률이 62%에서 85%로 올랐다.
- 메모리 그래프의 초기 문제는 서로 다른 시연 간 점프 비용이 실제 스텝과 같아서 비물리적 경로를 생성했으나, 점프에 비용을 부과하니 해결되었다.
- 세 번째 개선: Push-T는 모든 시연이 같은 위치에서 끝나 표준 테스트의 84%가 기존 시연의 상태와 거의 동일해, 새로운 테스트(시작과 목표를 다른 시연에서 선택)를 설계했다.
- 네 번째 개선: 물리 회전·이동·미러링을 적용한 변환 시연으로 메모리의 빈틈을 채우니 새 테스트에서 성공률이 45%에서 56%로 올랐다.
- 다섯 번째 발견: 로봇 팔의 위치를 포함한 목표 이미지 비교는 블록만 비교할 때보다 4배 더 어렵고, 정확한 물리 시뮬레이터로도 성공률이 9/50에서 39/50으로 떨어진다.
- 목표 이미지의 로봇 위치 정보를 시연 데이터에서 수집한 16개 변형으로 검색하면 LeWM의 성공률이 11%에서 23%로 배증되며, 재학습 없이 작동한다.
- 이 네 가지 개선법은 모두 모델 가중치를 바꾸지 않고 LeWM 원본에 적용되며, 유사한 JEPA 모델에도 추가 학습 없이 이전 가능하다.
- 남은 과제는 시연 데이터가 없는 새로운 과제에 일반화되도록 플래너 자신이 부분 목표를 생성하는 것이며, 저자는 현재 이 부분을 연구 중이다.