AI가 생성한 이미지의 글자 오류, 효율적으로 고쳐낸다
원제 Efficient Scene-Text Refinement via Pixel-Space Grouped Image Generation
추천 12댓글 2
Key Point
AI가 만든 이미지의 텍스트 오류를 효율적으로 고칠 수 있는 방법이 나왔으며, 기존 방식 대비 정확도가 2배 이상 높아서 생성 이미지의 실용성이 크게 개선될 수 있다.
핵심 요약
- 생성 이미지는 전체적으로는 일관성 있으나 작은 텍스트와 복잡한 글자에서 오류가 생겨 읽기 어렵고 실용성이 떨어진다는 문제가 있다.
- 기존 VAE 기반 방식은 재구성 과정에서 글자의 세밀한 획을 잃고, 전체 이미지 편집은 배경색을 왜곡하는 한계를 갖는다.
- PixText는 장면의 텍스트 보정을 픽셀 공간의 그룹화된 이미지 생성으로 정의하며, 원본 이미지를 조건으로 목표 영역만 생성하고 편집되지 않은 부분을 보존한다.
- MeanFlow를 사용해 4단계 생성으로 효율성을 높였다.
- 텍스트 정정과 이미지 보존을 평가하는 'Text Refinement Bench' 벤치마크를 새로 제안했다.
- PixText는 이 벤치마크에서 글리프 통과율 83.06%, 정확한 글자 OCR 정확도 94.66%를 달성했으나 기존 최강 베이스라인은 각각 36.77%, 52.31%에 불과했다.
- 4단계 MeanFlow 변형은 통과율 81.84%를 유지하면서 이미지당 GPU 1초 미만의 효율성으로 작동한다.