영상의 움직임을 읽는 비디오-언어 모델 V-JEPA-LM
Key Point
기존 비디오-언어 모델이 버리고 있던 동역학 정보를 활용해 더 적은 데이터와 계산으로 최고 성능을 달성한 접근법의 핵심 메커니즘과 구체적 성능 향상을 보여주기 때문.
핵심 요약
- V-JEPA 같은 월드 모델 인코더는 비디오에서 장면의 변화(방향, 속도, 순서, 상태)를 학습하지만, 캡션과 QA 쌍으로 훈련한 언어 모델과 결합되면 텍스트에 정렬된 속성만 추출하고 동역학(dynamics) 정보를 활용하지 못한다.
- 논문은 고정된 V-JEPA 특성에서 선형 프로브로 속도를 87% 정확도로 읽을 수 있지만, VLM은 무작위 수준(50%)으로 답하는 현상을 보여준다.
- 동역학 정보는 V-JEPA 같은 예측형 인코더에서는 비디오 전체에 공유된 부분공간에 존재하지만, SigLIP 같은 프레임별 텍스트 정렬 인코더에서는 공유 성분으로 존재하지 않는다.