고압축·고속학습 이미지생성 모델, DC-SAE 공개
원제 DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence
추천 35댓글 2
Key Point
고압축 토크나이저는 대규모 이미지 생성 모델의 학습 효율을 좌우하는데, DC-SAE가 압축률과 학습 속도 양쪽을 동시에 개선하는 방법을 제시한다.
핵심 요약
- 이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다.
- 기존 의미 기반 오토인코더는 중간 수준 압축에만 제한되고 픽셀 수준의 세부정보를 잃어 정확한 복원이 어렵다.
- DC-SAE는 의미 기반 인코더로 높은 압축을 가능하게 하고, 픽셀 수준 인코더로 저수준 세부정보를 보존한다.
- 512x512 ImageNet에서 32배 공간 압축 달성, PSNR 29.79·gFID 3.37로 기존 DC-AE 대비 PSNR 13.5%, gFID 54.9% 개선했다.
- 처리량은 비슷한 수준이면서도 확산 모델 학습 수렴이 더 빠르다.
- 1.6B 파라미터 DiT 모델이 1024x1024 텍스트-이미지 생성에서 GenEval 0.84, DPG-Bench 86.007을 기록했다.