통일된 설계 원칙으로 텍스트-이미지 프롬프트 자동 개선
원제 Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement
추천 35댓글 2
Key Point
프롬프트 개선이 더 이상 일반적 의미 전달에만 중점을 두지 않고, 조명·구도·미학 같은 시각 설계 원칙을 구체적으로 학습하게 되면서 텍스트-이미지 생성의 품질 천장이 크게 올라간다.
핵심 요약
- 사용자의 불충분한 텍스트 요청을 시각적으로 완성된 프롬프트로 변환하는 Qwen-Image-PE를 발표했다.
- 감독된 미세조정과 강화학습 2단계 훈련으로 조명, 구도, 레이아웃, 디테일 등 세부 설계 요소를 학습한다.
- Caption-Based Reverse Distillation(CRD)은 잘 디자인된 이미지의 밀집 캡션을 설계 지도신호로 사용하고, Groupwise Design Reward(GDR)는 동일 요청의 모든 후보 이미지를 비교해 개선한다.
- Qwen-Image-2.1과의 평가에서 Qwen-Image-PE-397B는 원본 요청 대비 7.81점 개선, Qwen-Image-PE-9B는 모든 기존 프롬프트 개선 모델을 능가했다.
- 시각 설계, 미학, 이미지 품질, 인간 선호도에서 모두 향상되었으며, 훈련 데이터, 모델 크기, 정보 밀도 3가지 축에서 스케일링됨을 확인했다.
- 충분한 정보 밀도가 효과적 개선의 필수 전제조건임을 발견했다.
- HunyuanImage-2.1과 FLUX 3 Image Klein을 포함해 4가지 추가 텍스트-이미지 생성 모델로의 일반화를 입증했으며, 일부 모델에서는 기본 제공 프롬프트 개선 도구를 능가했다.
- Qwen-Image-PE-9B를 Hugging Face에 공개했다.