사용자 개입 받으며 생성되는 동영상, 문맥 기반으로 제어한다

핵심 요약

• 영상 생성 시 시청자가 실시간으로 개입할 때, 시청자의 요청이 원본 자료와 현재까지 생성된 영상 상태에 모두 의존하는 문제가 발생한다.
• 기존 대화형 영상 생성 시스템은 사용자 지시만 따르거나, 외부 자료 정렬에만 집중해 문맥 기반 제약을 제대로 다루지 못했다.
• VIS-Ground는 이질적이고 비정형인 입력 정보를 구조화된 제약 모델로 변환한다.
• 먼저 구조화된 문맥 추상화로 근거 있는 상태와 교차 의존성을 복원하고, 생성 제약 유도로 후보별 제약을 도출한다.
• 마지막으로 계획·검증·수정·렌더링을 거친 제약 기반 영상 생성으로 제약들을 적용한다.
• 세 가지 영상 생성 백본에서 VIS-Ground는 기존 최고 성능 모델 대비 평균 10.3점 향상을 달성했다.
• 분석 결과 서사와 지식 기반 모두에서 개선을 보였으나, 의존성 추출과 영상 렌더링 과정의 충실한 구현에는 남은 과제가 있다.