합성 데이터 없이 실제 이미지로 훈련하는 장면 글자 편집

핵심 요약

• 장면 글자 편집(STE)은 원본 스타일을 유지하면서 텍스트 내용을 수정하는 기술로, 기존 접근법들은 합성 쌍 데이터에 의존해 실제 장면의 다양성을 제대로 포착하지 못하고 인공물을 생성하는 문제가 있다.
• 논문은 실제 샘플 하나를 여러 방식으로 손상시켜(자르기, 섞기, 마스킹 등) 자체 쌍 학습 데이터를 만드는 방식으로, 합성 데이터 없이 훈련이 가능한지 탐구했다.
• TextRIRO는 조건부 확산 모델 기반의 기준 모델로, 문자 열 섞기와 이미지 자르기(Shuffle&Crop)를 결합할 때 텍스트 의미는 파괴하면서 스타일 단서는 보존하여 모델이 실제 텍스트 이미지에서 직접 편집 행동을 학습할 수 있다.
• TextRIRO는 실제 벤치마크에서 정확도와 시각적 사실성 모두에서 우수한 성능을 보였으며, 합성 데이터와 실제 데이터 간의 도메인 격차를 크게 완화했다.
• 원본 및 편집된 이미지를 연결해 만든 대규모 장면 글자 인식 데이터셋 TextRIRO-3M으로 훈련한 인식 모델은 정확도가 크게 향상되어, 생성된 데이터가 하위 작업의 유용한 학습 자료임을 입증했다.
• 코드는 GitHub에서 공개되었으며, 이 방식은 장면 글자 편집을 더욱 현실적이고 신뢰할 수 있으며 널리 적용 가능한 수준으로 높였다.