확산 모델 압축, 다양성 살리는 새 방법 나왔다
원제 Posterior Matching Distillation
추천 36댓글 4
Key Point
확산 모델의 단계 수를 줄이면서도 샘플 다양성을 유지하려는 연구자와 엔지니어에게 필수적인 기술 발전이다.
핵심 요약
- 이미지와 영상 생성을 가속화하는 확산 모델 증류(diffusion distillation)에서, 기존 역-KL 기반 방법들은 주요 모드만 선호하면서 샘플 간 다양성을 떨어뜨리는 문제가 있었다.
- 연구진이 제안한 Posterior Matching Distillation(PMD)은 모드-커버링 후부(posterior sampling)와 임의 단계 생성을 결합하는 분포 기반 증류 방법이다.
- PMD는 각 훈련된 노이즈 레벨에서 학생 모델의 출력이 교사 모델의 완전한 후부 분포를 복구하도록 한다.
- 확률적 학생 모델은 추가 훈련 없이 훈련된 타임스텝 그리드 범위 내에서 임의의 단계 샘플링을 지원한다.
- 고정된 노이즈 상태에서 조건화된 학생 샘플의 지수 가중 평균과 교사의 후부 평균을 매칭함으로써 이 후부를 학습한다.
- 가우시안 부식(corruption) 하에서는 지수 기울어진(tilted) 후부 평균이 이동된 입력에서의 단일 교사 평가로 계산된다.
- 연구진은 열린 영역에서 기울어진 평균을 매칭하면 완전한 후부를 고유하게 식별할 수 있음을 증명했다.
- 보조 학생-스코어 네트워크 없이 평균 제약 계열을 통해 전체 조건부 분포를 감독한다.
- SDXL과 FLUX.2 4B 모델에서의 실험 결과, PMD는 4단계 방법 중 최고의 FID(Fréchet Inception Distance)를 달성하면서 프롬프트 정렬성과 지각 품질 메트릭에서도 경쟁력 있거나 우수한 성능을 유지했다.