영상의 움직임을 읽는 비디오-언어 모델 V-JEPA-LM
원제 V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations
추천 25댓글 2
Key Point
기존 비디오-언어 모델이 버리고 있던 동역학 정보를 활용해 더 적은 데이터와 계산으로 최고 성능을 달성한 접근법의 핵심 메커니즘과 구체적 성능 향상을 보여주기 때문.
핵심 요약
- V-JEPA 같은 월드 모델 인코더는 비디오에서 장면의 변화(방향, 속도, 순서, 상태)를 학습하지만, 캡션과 QA 쌍으로 훈련한 언어 모델과 결합되면 텍스트에 정렬된 속성만 추출하고 동역학(dynamics) 정보를 활용하지 못한다.
- 논문은 고정된 V-JEPA 특성에서 선형 프로브로 속도를 87% 정확도로 읽을 수 있지만, VLM은 무작위 수준(50%)으로 답하는 현상을 보여준다.
- 동역학 정보는 V-JEPA 같은 예측형 인코더에서는 비디오 전체에 공유된 부분공간에 존재하지만, SigLIP 같은 프레임별 텍스트 정렬 인코더에서는 공유 성분으로 존재하지 않는다.
- 언어 모델이 동역학을 읽도록 하기 위해 반사실적(counterfactual) 감시를 도입했는데, 픽셀 변환으로 공개 비디오를 정답 균형을 맞춘 변종으로 변환하면서 정답만 변하고 변화 과정은 동일하게 유지한다.
- 1B~8B 크기 모델(Qwen3, Llama 기반)을 4.53M 공개 샘플 단일 단계 훈련으로 개발했으며, 프레임당 32개 시각 토큰만 사용한다 (기존 오픈소스 VLM은 여러 단계, 9M~172M 샘플, 프레임당 64~256 토큰).
- 11개 비디오 벤치마크 평균 점수에서 모든 모델 크기 범주에서 1위를 기록했고, 4B 모델은 72.1점(기존 최고 4B: 61.1, 최고 8B: 64.8)을 얻었다.
- 통제된 인코더 x 감시 실험에서 인코더가 읽을 수 있는 것을 결정하고 감시가 무엇을 읽을지 결정함을 확인했으며, 동일 예산에서 반사실적 감시는 평균 4.5점, 속도 질문에서는 38점을 추가로 향상시켰다.
- 코드와 모델은 GitHub에서 공개된다.