다양한 감각의 AI가 같은 세계를 본다는 증명

핵심 요약

• Yann LeCun과 Randall Balestriero는 '플라톤적 표현 가설(PRH)'을 증명하는 논문을 발표했다. 가설은 여러 모달리티(영상, 텍스트 등)로 학습한 AI 모델들이 스케일을 늘리면 같은 세계 표현에 수렴한다는 것이다.
• 저자들은 '플라톤적 표현 정리(Platonic Representation Theorem)'를 증명했다. 결합 임베딩 예측 아키텍처(JEPA)가 서로 다른 모달리티로 학습될 때, 긍정 쌍이 같은 장면의 두 관찰('좋은 뷰')이고 오정렬이 제한되면 회전을 제외하고 동일한 표현을 학습한다는 뜻이다.
• 다음 토큰 예측(언어 모델의 기본 방식)은 나쁜 뷰(한 문서의 일부)를 사용하는 JEPA로, 이는 언어 모델이 스케일을 통해서만 비전과 정렬되는 이유를 설명한다.
• 실험에서 145k 캡션부터 940M 웹 이미지 텍스트까지 검증했고, 정렬 스케일 법칙을 발견했다. 좋은 뷰는 같은 정렬에 도달하는 데 다음 토큰 예측보다 42배 적은 훈련 샘플이 필요했다.
• 109M 파라미터 텍스트 JEPA는 72B 파라미터까지의 모든 언어 모델, CLIP의 텍스트 인코더보다 DINOv2와 CLIP의 이미지 인코더와 더 잘 정렬되었다.
• 한 번의 회전으로 분리 학습된 인코더들을 이미지 캡셔너로 바꿀 수 있었으며, COCO에서 CIDEr 점수 0.838을 달성했다.
• 쌍 없는 최신 벤치마크에서 텍스트 JEPA는 8B 파라미터까지의 언어 모델을 초과했으며, ImageNet-100에서 64% top-5 정확도를 기록했다(언어 모델 최고 56%).
• 결론은 스케일뿐 아니라 좋은 뷰가 플라톤적 표현 구축의 핵심 요소라는 것이다.