자동회귀 동영상 생성에 미래 청크 예측 더하기

핵심 요약

• 자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다.
• 교사 강제(teacher forcing) 훈련에서 강한 시간적 중복성이 로컬 시각 연속성을 지름길 삼아 실제 시각 진화 모델링 압력을 감소시킨다.
• 연구팀은 Future Chunk Prediction(FCP)라는 보조 목표함수를 제시했으며, 이는 교사 강제 디노이징과 함께 학습된다.
• FCP는 중간 시각 문맥 없이 시간적으로 떨어진 청크들을 예측하며, 훈련 영상에서 직접 감독 신호를 얻는다.
• 추가 사전학습 시각 인코더 없이도 작동하며 자동회귀 추론 방식은 변화 없다.
• FCP 방식은 표준 교사 강제 훈련 대비 물리적 타당성이 우수하면서도 전체 훈련 계산량은 더 적다.
• FCP가 더 구조화된 표현 공간을 형성하는 것으로 보이며, 이는 자동회귀 월드 모델 구축에 유용할 수 있다.