Few-Step 확산 모델, 간단한 회귀만으로 빠르게
원제 Simplifying and Improving On-Policy Distillation for Few-Step Diffusion
추천 15댓글 2
Key Point
복잡한 별도 모듈 없이 기본 회귀로 few-step 생성의 품질을 올릴 수 있다면, 실제 배포 환경에서 확산 모델의 속도를 크게 개선하려는 팀들에게 직접적인 영향을 줄 것이다.
핵심 요약
- 확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다.
- 교사 모델의 각 구간 내 속도 변화를 표현하기 위해 학생의 구간 평균 예측에서 국소 보정을 분리하는 학습 전용 잔차 프록시 Pivot을 도입했다.
- 학생을 약한 교사 예측으로부터 멀어지게 하는 메커니즘을 추가해 원하지 않는 모드 회피를 돕는다.
- 제안된 SMD(Simplified Matching Distillation) 프레임워크는 순수 회귀 기반이며 온라인 점수 추정이나 적대적 훈련 없이, 배포된 생성기는 그대로 유지한다.
- 이미지 생성·편집, 3D 생성, 비디오 합성, 음성-비디오 결합 생성에서 평가했으며 33억 파라미터까지 확장 가능하다.
- 4-NFE에서 SMD는 강력한 Few-Step 기저선을 능가하고 여러 벤치마크에서 다중 스텝 교사 모델을 초과한다.
- 교차 모델, 다중 교사, 인과 비디오 디스틸레이션도 지원한다.