실시간 음성-영상 화자 추출, 경량화로 엣지 배포 가능해졌다
원제 Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes
추천 152댓글 2
Key Point
실시간 음성 처리가 필요한 모바일·임베디드 환경에서 화자 분리의 실용성을 크게 높였으며, 기존 벤치마크의 문제를 해결한 현실적 평가 기준을 제시했다.
핵심 요약
- 스트리밍 환경에서 특정 화자의 음성만 추출하는 기술(AVTSE)은 저지연이 필수인데, 기존 방식들은 두 가지 문제를 안고 있었다.
- 첫째, 표준 벤치마크가 화자 2명만 고정하고 실제 환경의 근거리·원거리 간섭음, 음향 반향, 갑작스러운 잡음을 반영하지 않는다.
- 둘째, 고성능 인과관계 구조는 엣지 기기 배포에 너무 무겁고, 경량 대안도 작은 분리 모델을 반복 호출하면서 이득을 상쇄한다.
- 이를 해결하기 위해 RealSSA라는 현실적 벤치마크를 공개했다: RealSSA-Sim은 1~5개 동적 근거리 간섭음이 있는 제어된 시뮬레이션 장면과 추가로 10~15개 원거리 간섭음을 포함하며, RealSSA-Real은 실제 녹음한 평가 데이터셋이다.
- 이와 함께 Falcon이라는 인과관계 AVTSE 방식을 제안했다.
- Falcon의 분리 모듈은 다중 스케일 시간-주파수 분리를 단일 인코더-디코더 통과로 처리하며, 근거리 누수를 0의 추론 비용으로 억제하는 인코더 공간 화자 대조 손실로 훈련한다.
- RealSSA-Sim, LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix 벤치마크에서 최고 성능을 달성했다.
- 기존 인과관계 기준 모델(AV-TFGridNet)과 비교하면 매개변수를 91.9% 감소, 계산량을 20.2배 줄이고, GPU 추론 지연을 11.1배 단축했다.