픽셀 디퓨전 모델에 적대적 학습 추가로 고주파 품질 개선

핵심 요약

• 픽셀 디퓨전 모델은 오토인코더 병목을 피해 RGB 이미지를 직접 생성하지만, 미세한 자연 이미지 통계를 체계적으로 과소 표현하는 문제가 있다.
• 연구팀은 사전학습된 모델에 적대적 손실을 더해 이 결함을 보정하는 방법을 제시했다. 원래 확산 또는 플로우 매칭 목표를 유지하면서 비고노이즈 타임스텝에서만 적대적 손실을 예측 출력에 추가한다.
• 모델 아키텍처와 샘플링 절차는 변경하지 않으며, 픽셀 디퓨전의 적대적 사후학습에 대한 첫 체계적 연구다.
• 두 개의 픽셀 백본에서 분포 충실도, 커버리지, 프롬프트 정렬, 지각 품질을 함께 개선했다.
• 주파수 대역 및 멱법칙 분석에 따르면 원래 모델들은 자연 이미지의 고주파 콘텐츠를 체계적으로 과소 생성하고, 적대적 사후학습이 이를 복원한다.
• 대조적으로 지각 손실도 고주파 콘텐츠를 증가시키지만 분포 충실도와 프롬프트 정렬을 훼손한다.
• 최근접이웃, 리콜, 매칭된 비GAN 감독미세조정 대조 실험으로 암기화, 모드 탈락, 추가 최적화를 단순 설명으로 배제했다.
• 잠재 디퓨전 구성에서는 동일 절차가 비교 가능한 연합 이득을 내지 못하고 거의 디코딩된 고주파 전력을 추가하지 않는다.
• 결과적으로 직접 출력 접근으로 보정 중인 이미지 통계에 대한 접근이 적대적 사후학습의 성공 시점을 결정하는 핵심 요소다.