자막·로고 자동 제거하는 AI 모델과 벤치마크 공개

핵심 요약

• 비디오에서 자막, 제목, 로고 같은 오버레이를 제거하면서 주변 장면을 보존하는 문제를 다룬다.
• 기존 방식은 시간 정보 활용이나 조건부 생성을 썼지만 잔여 오버레이를 남기고 장면 구조를 왜곡할 수 있었다.
• DeOverlay라는 소스 앵커드 플로우 모델을 제안하는데, 소스 잠재 표현에서 고정된 가이던스로 깨끗한 영상을 복원한다.
• 지역 가중 플로우 매칭으로 소스-클린 경로 쌍을 학습하며, 중간 상태에서 단계적 보정이 가능하도록 한다.
• 가시성 정규화 시간 집계로 마스크된 위치를 제외하고 나머지 관찰값을 평균내어 로컬 소스 단서를 선택한다.
• 글로벌 소스 컨텍스트와 편집 영역 임베딩을 덧셈형 조건화로 보완하면서 단일 비디오-토큰 시퀀스를 유지한다.
• DVTE-Bench라는 새 벤치마크를 제시하며, 8개 자막 오버레이 카테고리에 걸쳐 1,631개 비디오 쌍으로 구성된다.
• 각 쌍은 OCR 검증된 깨끗한 타깃, 프레임 정렬 픽셀 마스크, 공통 평가 프로토콜을 포함한다.
• DeOverlay는 모든 5개 복원·지각 메트릭에서 4개 베이스라인을 능가하며, Mask LPIPS와 Mask VFID를 각각 58.3%, 70.3% 감소시켰다.
• 정성적 예제에서는 그래픽 로고와 스티커 제거도 시연한다.
• 벤치마크, 평가 코드, 테스트 결과를 공개할 계획이다.