디코더 없이 직접 픽셀 생성하는 확산 트랜스포머
원제 Decoding Without a Decoder: Direct Pixel Prediction from Diffusion Transformers
추천 14댓글 2
Key Point
확산 모델의 디코더 오버헤드를 완전히 제거하면서 오히려 이미지와 비디오 품질을 개선하는 새로운 접근법으로, 생성 모델의 효율성과 품질 간 균형 문제를 푸는 방안을 제시한다.
핵심 요약
- 기존 잠재 확산 모델은 디코딩된 잠재 변수를 픽셀로 변환하는 디코더가 필요해 추론 비용이 증가한다.
- 연구팀은 미세조정된 확산 트랜스포머가 선형 헤드를 통해 최종 픽셀을 직접 생성하는 'Decoding Without a Decoder(DWD)' 방법을 제안했다.
- 기존 방식과 달리 DWD는 역할을 분리해 원래 노이즈 제거 헤드는 샘플링을 계속 주도하고, 새로운 DWD 헤드는 최종 단계에서만 픽셀을 예측한다.
- 사전학습된 잠재 모델에 DWD를 효율적으로 적용하려면 마지막 몇 개 트랜스포머 블록만 미세조정하고, 노이즈 제거 헤드를 사전학습 모델에 고정시켜 샘플 궤적을 보존한다.
- 이미지 및 비디오 생성 모델에서 DWD는 디코더를 제거하면서 픽셀 품질을 유지하거나 향상시켜 추론 비용을 감소시킨다.
- 완 비디오 생성에서 DWD는 세부 왜곡과 깜빡임을 눈에 띄게 감소시키고 워핑 오류를 23% 낮춘다.
- 디코더를 사용하지 않는 픽셀 확산 모델에서도 같은 분리 방식이 효과적이어서, 최종 단계 DWD 헤드로 텍스트-이미지 생성에서 텍스처 세부사항이 크게 개선된다.
- 픽셀 흐름 모델 중 처음으로 ImageNet FID 점수를 1.55에서 1.43으로 개선해 최첨단 성과를 달성했다.