자동회귀 비디오 생성 오류 누적 문제 해결하는 RMD 기법 제안
원제 Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation
추천 18댓글 3
Key Point
자동회귀 비디오 생성에서 오류 축적을 근본적으로 해결하는 새로운 증류 방식이 제시되어, 장시간 고품질 비디오 생성이 필요한 개발자들에게 실질적인 개선 방안을 제공한다.
핵심 요약
- 자동회귀 비디오 확산 모델은 저지연 스트리밍 생성을 가능하게 하지만, 긴 롤아웃 과정에서 예측 오류가 축적되는 문제가 있다.
- 기존 기법들은 영상 수준의 분포 매칭 증류(DMD)를 통해 전체 롤아웃을 함께 평가하는데, 이로 인해 각 청크가 주변 맥락의 인공물과 어울리도록 조정되어 시각 품질 신호가 희석된다.
- 연구진은 롤아웃-마진 증류(RMD)를 제안했으며, 이는 생성된 히스토리는 유지하되 각 청크를 독립적으로 청크 교사에 대해 평가한다.
- 이 방식으로 품질 개선이 불완전한 시간적 맥락에 방해받지 않도록 한다.
- 시간적 맥락 부재를 보충하기 위해 RMD는 이후 영상 수준의 DMD를 적용해 시간적 일관성을 복원한다.
- 광범위한 실험 결과 RMD는 훈련 범위를 훨씬 넘어서도 높은 시각 품질을 유지하며, 영상 수준의 DMD 기준선을 능가한다.