이미지 생성 모델의 텍스트 렌더링 평가하는 한영중 벤치마크
원제 UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visual Text Rendering in Image Generation
추천 86댓글 2
Key Point
이미지 생성 모델의 텍스트 렌더링 성능을 체계적으로 비교할 수 있는 한영중 벤치마크가 공개되어, 텍스트가 많은 이미지 생성 작업에서 모델을 평가하고 선택할 기준이 생겼다.
핵심 요약
- 이미지 생성 모델이 여러 영역에 정확하게 배치된 긴 텍스트를 렌더링하는 능력을 평가하기 위해 UltraText Bench 벤치마크를 소개한다.
- 벤치마크는 432개 프롬프트로 구성되며, 24개 실제 장면 카테고리와 3가지 난이도 수준을 포함하고 영문과 중문을 동등하게 분배했다.
- 각 프롬프트는 인간이 검수했으며 4개~12개 텍스트 영역의 정확한 문자열과 콘텐츠·배치·시각적 속성의 구조화된 참조값을 제공한다.
- Q-Judger 비전-언어 모델로 텍스트 충실도·선명도·공간 품질·장면 품질 4가지 차원으로 이미지를 평가한다.
- 24개 모델 설정 평가 결과 각 모델의 강점이 다르게 나타났으며, Z-Image-Turbo는 Z-Image-Base보다 선명도에서 3.81점 높지만 충실도에서 14.76점 낮았다.
- Qwen-Image-2512의 영문 점수는 난이도 L1에서 86.50점에서 L3에서 42.86점으로 급락하며 작업 난이도에 따른 성능 편차를 보여준다.
- 10명의 참여자가 자동 평가 점수에 대한 인간 평가를 진행했으며, 벤치마크 코드와 데이터는 GitHub에 공개되어 있다.