비디오 기초 모델부터 세계 모델까지, 영상 이해와 생성의 통합 관점

핵심 요약

• 비디오 기초 모델은 시각 시퀀스의 이해와 생성에 급속히 발전해온 반면, 비디오 세계 모델은 그 속 세계의 동역학을 포착하려 한다.
• 이 논문은 세계 모델링을 통합 렌즈로 삼아 두 분야를 함께 조망한다.
• 관찰된 비디오를 잠재된 시간적 세계의 부분적·손실적·시간순 투영으로 보고, 네 가지 보완적 작업으로 문헌을 정리한다: reading은 비디오에서 세계 성질을 추론하고, writing은 지정되거나 학습된 세계 조건에서 비디오를 생성하며, sharing은 공통 모델링 메커니즘을 통해 이해와 생성을 통합하고, interacting은 행동과 진화하는 관찰 아래서 세계 상태를 예측하고 업데이트한다.
• 이 관점은 관찰되거나 생성된 시퀀스의 시간적 일관성을 기저의 세계 상태의 일관성과 구분한다.
• 클립 수준 인식과 지각적 충실도에서 지속적 상태·제어 가능한 진화·물리 및 인과 타당성·상호작용과 하위 결정에 근거한 평가로의 강조점 이동을 추적하며, 뒤따르는 해결 과제를 도출한다.