Hugging Face 논문AI · 머신러닝

장시간 영상 생성 시 표현 붕괴 문제 해결 기법 제시

원제 In-Distribution Forcing for Long Video Generation at Test Time

추천 35댓글 2Jeongwoo Shin, Youngyoon Choi, Sangwoo Jo 외
Key Point

자동회귀 비디오 생성 모델의 장시간 생성에서 흔히 발생하는 표현 붕괴 문제를 근본적으로 해결하는 방식을 제시하며, 분당 단위 길이의 영상 생성을 가능하게 한다.

핵심 요약

  • 자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다.
  • 기존 방식은 KV 조건화(캐시된 키-밸류 항목 선택·수정)로 드리프팅을 완화하려 했으나, 훈련 범위를 초과하면 캐시 항목 자체가 분포 외(OOD)가 되는 KV-provenance 문제가 발생한다.
  • 이를 해결하기 위해 In-Distribution Forcing(ID-Forcing)을 제시하는데, 이는 KV 캐싱과 조건화를 훈련 설정과 정렬시키는 테스트타임 프레임워크다.
  • 핵심 메커니즘인 '셀프-캐싱'은 각 청크를 이전 KV 항목에 주의하지 않고 캐시하여, 슬라이딩 윈도우를 정확히 분포 내에 유지함으로써 OOD 항목 생성을 원천 차단한다.
  • ID-Forcing으로 단시간 모델을 분 단위 규모의 영상 생성으로 확장할 수 있으며, 표준 벤치마크에서 경쟁력 있는 성능을 유지하면서 드리프팅 완화에서 기존 방식을 크게 능가한다.
  • 평가는 제안된 드리프팅 메트릭과 사용자 연구로 검증했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗