학습 데이터 없이 확산 모델 가속화하는 방법
원제 Consistent Distribution Matching for Data-Free Diffusion Distillation
추천 16댓글 1
Key Point
학습 데이터가 필요 없으면서도 최소 함수 평가로 고화질 생성을 하는 새로운 증류 기법이 기존의 데이터 의존성과 복잡한 학습 파이프라인 문제를 해결한다.
핵심 요약
- 확산 모델과 플로우 모델은 수치 적분이 비싸 추론 속도가 느리며, 기존 증류법은 학습 데이터셋이나 비용 많은 교사 모델 롤아웃, 보조 네트워크 등이 필요했다.
- Consistent Distribution Matching이라는 시뮬레이션 프리·데이터 프리 증류 방식을 제안하며, 샘플 생성과 스코어 추정을 하나의 학생 네트워크로 통합한다.
- 프레임워크는 얼어 있는 교사 모델과 학습 가능한 학생 모델 두 개만 사용하고 하나의 목적함수를 최적화한다.
- 목적함수 최소화가 학생 플로우 맵의 Wasserstein 수렴을 교사의 주변분포로 보장함을 증명했다.
- ImageNet 256×256에서 단일 함수 평가(1-NFE)로 FID 2.04, 4-NFE로 FID 1.37을 40 에포크 학습으로 달성하며 데이터 없는 최고 수준의 증류 기준선을 능가한다.
- 코드와 모델은 consistentdmd.github.io에 공개되어 있다.