서로 다른 모달리티도 같은 표현으로 수렴한다는 가설을 증명했다

핵심 요약

• 여러 모달리티로 학습한 AI 모델들이 결국 같은 세계 표현에 도달하는지 묻는 플라톤 표현 가설(PRH)을 수학적으로 증명했다.
• 공동 임베딩 예측 아키텍처(JEPA)를 여러 모달리티로 따로 학습하면, 긍정 쌍이 같은 장면의 두 관찰('좋은 뷰')일 때 회전을 제외한 동일한 표현을 학습한다는 정리를 증명했다.
• 다음 토큰 예측은 나쁜 뷰(한 문서의 일부)를 가진 JEPA이며, 이것이 언어 모델이 규모 확대를 통해서만 비전과 정렬되는 이유를 설명한다.
• 14만 5천 개 캡션부터 9억 4천만 개 웹 이미지 텍스트까지 검증한 결과, 좋은 뷰는 같은 정렬 수준에 도달하는 데 다음 토큰 예측보다 42배 적은 학습 샘플이 필요했다.
• 1억 900만 개 파라미터의 텍스트 JEPA는 72B 파라미터 언어 모델과 CLIP 텍스트 인코더보다 더 잘 DINOv2·CLIP 이미지 인코더와 정렬되었다.
• 따로 학습한 인코더에 회전 한 번 적용하면 이미지 캡셔닝 모델이 되며, COCO에서 CIDEr .838을 달성했다.
• 페어 없는 최신 벤치마크에서 텍스트 JEPA는 8B 파라미터 이하 언어 모델의 최고 정확도(56%)를 초과하는 64% 정확도를 ImageNet-100에서 달성했다.
• 긍정적 뷰가 플라톤 표현 구축의 핵심이며, 규모 확대 단독으로는 부족하다는 결론을 얻었다.