장편 비디오 생성의 공간·시간 일관성을 위한 ATAS 프레임워크
원제 Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation
추천 323댓글 1
Key Point
비디오 생성 AI가 긴 영상에서 장면 일관성을 유지해야 하는 핵심 문제를 해결하는 새로운 접근 방식을 제시하며, 기존 방법 대비 정량적·정성적 평가에서 모두 우수한 성과를 보여준다.
핵심 요약
- 장편 영화 시나리오를 비디오로 생성할 때 순서가 아닌 요청 사이에서도 공간과 시간 일관성을 유지해야 하는데, 기존 방식은 프롬프트나 최근 프레임만 전달해 장면 재방문이나 이전 사건 재재생에 필요한 공간 기준과 시간 기록을 제공하지 못했다.
- ATAS는 시나리오를 명시적인 위치, 카메라, 사건 시간 참조를 포함한 샷 요청으로 컴파일하는 방식으로, 생성 전 정적 기하학을 담은 장면 메모리와 시간별 동적 관찰을 담은 사건 메모리에서 관련 증거를 검색한다.
- 생성 후 ATAS는 클립을 재구성하고 등록하며, 검토와 상태 확인이 관찰을 수용할 때만 메모리를 업데이트하되 최종 영상 출력은 메모리 승인과 독립적으로 제공된다.
- 4개의 비디오 생성 모델 모두에서 ATAS는 샷 간 일관성 측도를 개선했으며, 각 백본별로 최고의 종합 벤치마크 점수를 달성했다.
- 목표 이미지 공간 재방문, 3개 사건 재현 기준에서 비교 대상 에이전트 및 3D 안내 방식을 능가했으며, 6개 기준 모두에서 인간 평가에서 최고 점수를 받았다.