확산 모델의 오차 누적을 잡는 보정 기법
원제 Correction Training for Diffusion Models
추천 37댓글 2
Key Point
확산 모델의 근본적인 학습-추론 갭을 단순한 보정 기법으로 해결하고 CFG 없이도 고품질 샘플을 생성할 수 있게 됨으로써, 현재 텍스트-이미지 생성 모델의 성능 천장을 높일 수 있는 방법을 제시합니다.
핵심 요약
- 확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다.
- 이런 학습-추론 갭을 줄이기 위해 보정 단계(corrector)를 도입한다: 보정 모델은 기본 모델의 예측을 입력받아 같은 정답을 목표로 학습한다.
- 샘플링 중 각 디노이징 단계마다 보정 모델이 예측을 반복적으로 정제하며, 중간 단계의 아티팩트가 최종 샘플로 전파되는 것을 방지한다.
- 보정 모델은 기본 디노이저 예측으로만 학습되지만, 추론 시 자신의 출력에 반복적으로 적용 가능하다.
- DiT, SiT, JiT 모델에서 평가했을 때 이전 보고된 FID 점수보다 상당히 개선되었으며, 특히 안내 없는 무조건부 생성에서 성능 향상이 두드러진다.
- 보정 기법은 분류기 없는 안내(CFG)와 경쟁력 있는 성능을 보이며, CFG와 조합하면 다양성이 증가하고 과포화 문제가 감소한다.
- 보정으로 인한 추론 비용은 정제된 예측을 기본 모델로 증류하여 상쇄 가능하며, 추론 시간 오버헤드 없이 품질 향상을 유지할 수 있다.