한 두 번의 평가로 복잡한 텍스트 렌더링하기

핵심 요약

• 빠른 이미지 생성 모델에서 프롬프트의 세부 사항을 정확히 표현하기 위해 Distribution Matching Distillation(DMD)을 개선한 Intrinsic Distribution Matching(IDM) 기법을 제안했다.
• 기존 DMD는 점수 차이를 이용해 생성 분포를 참조 분포에 가깝게 만드는데, IDM은 역방향 KL 필드를 가우시안 모멘트 성분과 비가우시안 나머지로 분해해 학습한다.
• 생성 모델의 지수 이동 평균(EMA) 복사본을 이용해 특징의 평균과 좌표별 표준편차를 명시적으로 제약하며, 외부 특징 인코더가 필요 없다.
• 내부 속도 분기를 통해 별도의 가짜 점수 네트워크를 피하고 모멘트 손실을 추가해 성능을 높인다.
• Z-Image-Turbo 6B와 Qwen-Image 20B 모델에서 전체 파라미터 조정과 LoRA 미세 조정 실험을 수행했다.
• 네트워크 2회 평가에서 중국어 LongText-Bench 94.25%, 영어 LongText-Bench 90.20%을 달성해 비교 대상 모델 중 이 예산 범위에서 최고 성능을 보였다.
• 생성 모델 EMA 특징이 외부 DINOv2 인코더와 경쟁력 있는 성능을 보이며, 5개 평가 지표에서 모멘트 손실의 이득을 확인했다.