생성형 이미지 모델 성능 끌어올리는 표현 학습법
원제 Learning Representations to Guide Pixel Diffusion Transformers
추천 24댓글 5
Key Point
이미지 생성 모델의 표현 학습 방식을 근본적으로 재정의하고, 매개변수를 줄이면서도 현저히 나은 생성 품질을 달성하는 방법론이 제시되었다.
핵심 요약
- 픽셀 디퓨전 트랜스포머 연구를 통해 좋은 표현 품질이 생성 능력으로 직결되지 않음을 발견했다.
- 생성 과정에서 외부 시맨틱 정보가 점진적으로 손실되며, 특화 디코더 구조도 표현 개선으로 이어지지 않는다.
- 효과적인 생성형 표현은 올바르게 형성되고 능동적으로 활용되어야 한다는 인사이트를 도출했다.
- Representation Guidance(RG) 방법을 제안해 저차원 병목을 통해 생성 관련 정보를 압축하고, 플로우 매칭 타겟을 수정해 디코더를 명시적으로 가이드한다.
- RG는 일반 트랜스포머 구조를 유지하면서 더 명확한 시맨틱·공간 구조를 학습한다.
- 459M 매개변수의 RG-L/16은 ImageNet 256x256에서 더 큰 픽셀 디퓨전 모델들을 능가했다.
- RG-XL/16은 256x256에서 FID 1.55, 512x512에서 FID 1.74를 달성했다.
- 텍스트-이미지 생성으로 확장했을 때 GenEval에서 0.89, DPG-Bench에서 87.1의 성능을 기록했다.