확산 모델 학습을 위한 견고한 토크나이저 RoAR-VAE
원제 RoAR-VAE: Improving Latent Diffusability through Robust Prediction
추천 26댓글 1
Key Point
확산 모델 기반 이미지 생성의 핵심인 토크나이저 설계에 새로운 원칙을 제시하며, 견고한 예측으로 재구성과 생성 성능을 동시에 개선할 수 있음을 보여준다.
핵심 요약
- 시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다.
- 기존 REPA-E 접근법을 다시 검토한 결과, 확산 목적과 전용 생성 블록을 제거하고 손상된 잠재에서의 의미론적 예측만 유지해도 유사한 생성 성능을 낸다.
- 이를 바탕으로 '견고한 예측' 원칙을 제시한다: 생성에 필요한 정보가 손상된 잠재에서도 복구 가능해야 한다.
- RobustAlign은 손상된 잠재에서 사전학습 의미 특징을 예측해 고수준 구조를 보존하고, RobustRecon은 깨끗한 이미지를 복원해 세밀한 공간 및 외형 정보를 유지한다.
- 두 목적을 결합한 RoAR-VAE는 견고한 예측을 통해 확산 모델이 초기에 학습하는 고분산 잠재 방향에서 유용한 정보를 더 접근 가능하게 만든다.
- 동일한 학습 예산 하에서 가장 강한 기준 토크나이저 대비 생성 벤치마크 성능을 평균 2.19점 개선했으며, FLUX.1-VAE 대비 소형 텍스트 복원 정확도를 16.93%포인트 향상시켰다.