영화 같은 영상 생성, MLLM 정보를 제대로 활용하는 학습법 제안

핵심 요약

• 영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다.
• 멀티모달 대형언어모델(MLLM)이 유용한 선행 정보를 제공하지만, 비디오 확산 트랜스포머(DiT)가 직접 조건화 경로로 이를 우회하거나 충분히 활용하지 못한다.
• 연구팀은 요소 인식 예측 학습(FAPL)을 제안해 MLLM 잠재값을 유효하게 활용하는 것을 전제로 설정했다.
• 첫 단계에서는 MLLM과 커넥터를 고정하고 DiT를 학습해 MLLM 잠재값 활용을 강화하는 '잠재값 전용 생성 그라운딩'을 수행한다.
• 두 번째는 '요소 범위 교체'로, 쌍을 이룬 영상을 통해 목표 요소는 변하고 비목표 요소는 유지되도록 DiT를 학습시킨다.
• 세 번째는 시간 추론을 위해 텍스트만 입력한 경우와 텍스트+완전한 영상을 입력한 경우가 같은 영상을 목표로 하게 하는 '텍스트 전용·텍스트 플러스' 학습을 거친다.
• 마지막 단계에서는 DiT를 고정하고 MLLM과 커넥터만 최적화해 제한된 입력으로 생성하되, 완전한 영상 재구성도 보완적 학습 모드로 유지한다.
• 희소 영상 생성·요소 인식 편집·다중 샷 생성 세 가지 작업에서 기존 방식보다 일관되게 우수한 성능을 보였으며, MLLM 특성 활용과 시간 제어, 요소 조정에 기여함을 검증했다.