동영상 자막 제거 평가 벤치마크 'MFVSR' 공개
원제 MFVSR: A Multi-Style and Fine-Grained Benchmark for Video Subtitle Removal
추천 12댓글 2
Key Point
동영상 자막 제거 기술을 체계적으로 평가할 수 있는 첫 대규모 벤치마크로, 기존 평가 방식의 맹점을 드러내며 정확한 성능 비교를 가능하게 한다.
핵심 요약
- 동영상 자막 제거(VSR) 기술을 평가하기 위한 대규모 벤치마크 'MFVSR'이 발표됐다.
- 3,000개 쌍을 이룬 고화질·저화질 영상과 AI 생성 영상, 그리고 953개 실제 영상으로 구성됐으며, 16개 언어와 공간 배치·시간적 동작·시각적 스타일·언어 모드 등 4가지 요인에 걸쳐 다양한 자막을 포함한다.
- 기존 평가 방식과 달리 정보 조건화·공간 분리 프로토콜을 도입해 마스크 없는 제거와 마스크 기반 제거를 구분하고, 복원 충실도·보존 충실도·시간적 충실도·커버리지·실패 사례를 측정한다.
- 6개 대표 방법론 실험 결과, 전체 프레임 지표로는 감지되지 않던 국소 복원·외부 영역 보존·시간적 일관성·전체 신뢰성 간의 실질적 차이가 드러났다.
- 기존의 저해상도 데이터셋과 단편화된 테스트 세트, 일반적인 영상 인페인팅 프로토콜의 한계를 극복하고 동영상 자막 제거 기술 평가의 기초를 제공한다.