장편 영상 스토리 일관성 유지하는 AI 프레임워크 공개

핵심 요약

• AI 에이전트가 여러 장면으로 긴 영상을 생성할 때 스토리의 일관성을 유지하는 것이 어렵다는 문제가 있다.
• 기존 방식은 텍스트 기반 계획이나 이전 프레임에만 의존해 스토리 이벤트의 결과를 명시적으로 추적하지 않아 시각적 오류가 누적된다.
• 연구팀이 제안한 StoryEngine은 구조화된 상태 표현으로 등장인물·소품·스토리 상태를 추적하고, 각 장면의 시작·종료 상태를 정의한다.
• 반복되는 요소들의 표준 참조(canonical references)를 만들고 상태 제약을 렌더 계획으로 변환하여 시각적 일관성을 보장한다.
• 평가 기반 복구 루프로 장면 간 상태 불일치를 감지하고 수정해 로컬 오류가 전파되는 것을 방지한다.
• 연구팀이 다양한 시나리오와 시각 스타일로 평가 벤치마크를 구성했으며, 스토리텔링 품질·서사 일관성·시각적 일관성을 측정한다.
• StoryEngine이 기존 최고 성능 모델들을 모든 평가 지표에서 능가하는 것으로 나타났다.