장시간 영상 생성용 미래 예측 프레임 선택 기법 FrameMorrow

핵심 요약

• 장시간 영상 생성에서 생성 이력이 길어질수록 모든 이전 콘텐츠를 유지하는 것이 비효율적이고 중복적이어서 효과적인 이력 선택이 필수적이다.
• 기존 방식들은 현재 콘텐츠 기반으로 과거 정보의 관련성을 판단하지만, 현재에 관련된 정보가 미래 생성에 반드시 유용한 것은 아니고 적어 보이는 과거가 나중에 중요할 수 있다.
• 핵심 통찰은 과거 정보를 미래 정보 수요에 대한 관련성에 따라 선택해야 한다는 것이다.
• FrameMorrow는 미래 정보 수요를 나타내는 소수의 미래 토큰을 예측하고 이를 사용해 과거에서 관련 정보를 식별하는 미래 예측 프레임 선택기다.
• 전체 미래를 생성할 필요 없이 향후 중요해질 내용의 컴팩트한 표현만으로 충분해 이력 선택을 안내할 수 있다.
• FrameMorrow는 모델별 내부 상태가 아닌 명시적 과거 프레임을 선택하므로 비공개 모델을 포함한 다양한 생성기와 플러그 앤 플레이 방식으로 통합 가능하고 추론 비용이 적다.
• 장시간 영상 생성, 상호작용형 생성, 행동 조건 월드 모델을 포함한 5개 벤치마크와 11개 생성 모델에서 FrameMorrow를 평가했다.
• 장거리 일관성, 시각적 품질, 행동 정렬 등에서 다양한 생성 환경에서 지속적인 성능 개선을 보였다.