학습 없이 사진 속 글을 번역하는 FlowTranslator
원제 FlowTranslator: Training-Free In-Image Machine Translation with Flow-Based Editing
추천 10댓글 1
Key Point
학습 데이터 없이도 다국어 T2I 모델의 능력을 활용해 이미지 속 텍스트 번역이 가능함을 보여주는 실용적 접근법이다.
핵심 요약
- 이미지 속 텍스트를 그 번역본으로 바꾸면서 주변 시각 정보는 그대로 유지하는 인-이미지 기계번역(IIMT) 문제를 다룬다.
- 기존 작업 특화 모델들은 번역 전후의 대량 쌍 이미지로 학습해야 하지만, FlowTranslator는 학습 없이 동작한다.
- OCR 모델과 LLM으로 번역 프롬프트를 생성한 뒤 T2I(텍스트-투-이미지) 기반 디퓨전 모델에 주입하는 방식을 사용한다.
- 번역된 텍스트의 정확하고 자연스러운 생성을 최적화하기 위해 두 가지 궤적 제어를 도입했다: Region Coupling Release(RCR)는 궤적 초반에 텍스트 영역 내 대상 가지의 잡음을 부분적으로 분리하고, Coupling Expansion(CE)은 궤적 중반에 이머징 편집 변위를 증폭한다.
- EasyOCR 읽기 프로토콜 기준 평균 PRIM BLEU 점수 20.6, COMET 점수 57.2를 달성해 학습 기반 베이스라인 UniTranslator를 크게 앞섰다.
- 더 어렵고 현실적인 전체 이미지 ScenePair 사진을 중국어로 번역할 때 정확히 일치하는 정확도 40.1%에 도달하며, 텍스트 렌더링 단계만 다루는 기존 편집 시스템들을 능가한다.