학습 없이 사진 속 글을 번역하는 FlowTranslator
Key Point
학습 데이터 없이도 다국어 T2I 모델의 능력을 활용해 이미지 속 텍스트 번역이 가능함을 보여주는 실용적 접근법이다.
핵심 요약
- 이미지 속 텍스트를 그 번역본으로 바꾸면서 주변 시각 정보는 그대로 유지하는 인-이미지 기계번역(IIMT) 문제를 다룬다.
- 기존 작업 특화 모델들은 번역 전후의 대량 쌍 이미지로 학습해야 하지만, FlowTranslator는 학습 없이 동작한다.
- OCR 모델과 LLM으로 번역 프롬프트를 생성한 뒤 T2I(텍스트-투-이미지) 기반 디퓨전 모델에 주입하는 방식을 사용한다.