자동회귀 비디오 생성의 그래디언트 충돌 해결: SGF+

핵심 요약

• 자동회귀 방식의 비디오 생성은 현재 프레임을 노이즈 제거하면서 동시에 미래 예측용 컨텍스트로 쓸 키-값 표현을 작성해야 하는데, 이 두 역할이 같은 파라미터를 공유하면서 서로 다른 그래디언트 패턴을 보이고 체계적인 음의 정렬을 일으킨다.
• 이러한 그래디언트 충돌이 시각적 품질과 시간적 일관성의 공동 최적화를 방해하고 있다.
• 연구팀은 Self Gradient Forcing Plus(SGF+)를 제안하여 컨텍스트 작성과 노이즈 제거에 별도의 파라미터를 할당하되, 인과적 어텐션을 통해 두 역할 간 상호작용을 유지한다.
• SGF+는 보조 손실 함수 없이 원래의 생성 목표로 두 역할을 공동 최적화하며, 컨텍스트 작성은 미래 예측에 대한 기여도로 감독된다.
• 프레임 단위와 청크 단위 생성 모두에서 평가 대상 기존 방법들보다 시각적 품질과 장기 일관성이 개선되었고, 추가 비디오 학습 데이터나 더 긴 학습 범위가 필요하지 않다.
• 5초 롤아웃으로만 학습했을 때 SGF+는 긴 비디오 파인튜닝 없이 최대 24시간 연속 생성을 지원한다.
• 역할별 파라미터 분리가 고품질 자동회귀 비디오 생성과 자연스러운 장기 외삽을 위한 효과적인 설계 원칙임을 보여준다.