픽셀 공간 확산 모델, 잠재 공간 모델과 동등한 성능 보여
원제 Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
추천 14댓글 2
Key Point
픽셀 공간 확산 모델이 세밀한 디테일 작업에서 잠재 공간 모델을 이길 것이라는 기대와 달리 실제로는 동등한 성능만 낸 이유를 알 수 있고, 픽셀 공간 사전학습의 한계와 가능성을 실증적으로 보여준다.
핵심 요약
- 픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다.
- 3B 매개변수 규모의 Iris-3B 픽셀 공간 텍스트-이미지 트랜스포머를 256→512→1024 커리큘럼으로 처음부터 학습했고, 또한 FLUX.2 Klein 4B 잠재 모델을 픽셀 공간으로 변환했다.
- 두 모델 모두 단안 깊이 추정과 이미지 복원/초해상화 작업에 미세조정했으나, 픽셀 공간 생성 사전에서 의미 있는 성능 향상을 발견하지 못했다.
- 깊이 추정에서 Iris-3B는 잠재 FLUX.2 Klein과 동등한 수준이었고, 변환된 픽셀 FLUX.2는 그보다 뒤처졌으며, 4배 DIV2K 복원에서도 두 픽셀 모델 모두 잠재 FLUX.2 Klein을 이기지 못했다.
- 그럼에도 Iris-3B는 픽셀 공간 사전학습이 3B 매개변수로 확장 가능하며 1024² 해상도에서 잠재 모델과 경쟁 가능한 텍스트-이미지 품질을 달성함을 보였고, 공식 평가자 기준 OneIG에서 Qwen-Image와 동등한 성능을 기록했다.
- 연구팀은 실패 원인, 남은 혼재 변수들을 문서화했으며 가중치와 학습 코드를 공개해 향후 픽셀 공간 생성 연구를 촉진할 예정이다.