약한 모델로 강한 확산 모델 학습하기, SWIFT 논문
원제 SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
추천 29댓글 2
Key Point
약한 모델을 활용해 더 강한 확산 모델을 절반 이하의 학습 비용으로 훈련하면서도 추론 오버헤드를 늘리지 않는 실질적인 방법이 입증되었기 때문이다.
핵심 요약
- 확산 모델 학습은 계산량이 많아서 추론 시 가이던스를 추가하면 샘플링 비용이 더 높아진다는 문제가 있다.
- SWIFT는 얼려진 약한 노이즈 제거기를 사용해 강한 모델을 개선하는 자가 가이드 학습법으로, 추론 오버헤드를 추가하지 않는다.
- 각 노이지 입력에 대해 약한 모델의 예측에서 멀어지도록 클린 회귀 타겟을 외삽하여, 부족하게 학습된 성분을 증폭한다.
- 약한 가이드는 초기 학습 체크포인트이며 메인 모델 학습 중 역전파가 필요 없고 이후 폐기된다.
- 결과 모델은 원래 샘플러를 유지하며 레이블 드롭아웃이나 무조건부 분기 없이 조건부·무조건부 생성을 모두 지원한다.
- RKHS의 유한시간 모집단 그래디언트 흐름 스펙트럼 분석을 통해 메커니즘을 설명했고, 조기 중단된 약한 가이드로 특정 외삽 강도 범위가 표준 학습보다 엄격히 낮은 사후평균 오차를 달성함을 증명했다.
- CIFAR-10과 ImageNet-256 실험에서 모델 규모와 표현 전반에 걸쳐 개선을 보였다.
- ImageNet-256의 한 구성에서 SWIFT는 가이드 준비와 학습 오버헤드를 포함한 총 학습 계산량의 약 절반으로 기준선의 최고 FID를 초과했다.
- RAEv2에서는 추론 시 가이던스 없이 FID 1.15, 가이던스 적용 시 0.99를 달성했다.