입모양으로 더빙 품질 검증...음성 없이 영상만으로 판단
Key Point
더빙 품질을 자동으로 검증하는 기술이 높은 정확도로 개발되면 다국어 콘텐츠 제작의 품질 관리 비용과 시간을 크게 줄일 수 있기 때문이다.
핵심 요약
- 더빙 품질 관리를 위해 음성 없이 무음 영상과 텍스트만으로 화자의 입술 움직임과 후보 텍스트가 내용·타이밍 모두 일치하는지 판단하는 참조 모델 없는 검증기가 필요하다.
- 기존 시각적 음성 인식기와 영상-언어 모델은 입술 움직임에서 음성 내용은 복구하지만 시간 오차에는 민감하지 않아 이 작업에 부적합하다.
- 연구팀이 'Align Then Reason(ATR)'이라는 다국어 입모양 동기화 검증기를 개발했으며, 프레임 수준 입술 표현과 후보 텍스트의 음소 단위 사이에 단조 정렬을 먼저 확립한다.