화자 수 제한 없는 실시간 회의 음성 분리 기술
원제 eDIAR: Training-Free Open-Speaker Streaming Diarization for Long Meetings and Large Archives via e-means
추천 11댓글 2
Key Point
회의실 모임에서 몇 명이 참석할지 미리 알 수 없는 상황에서, 기존 고정 슬롯 방식을 완전히 벗어나 무제한의 화자를 실시간으로 인식할 수 있는 첫 실용적 솔루션이다.
핵심 요약
- 기존 신경망 기반 음성 분리 모델들(Streaming Sortformer, Nemotron-3)은 고정된 수의 출력 슬롯을 가져 미리 정한 수의 화자만 인식할 수 있다는 한계가 있었다.
- eDIAR은 재학습 없이 슬롯 수 제한을 제거한 훈련 자유 방식의 음성 분리 시스템이다.
- 슬롯 헤드가 활성 화자와 음성 겹침을 결정하고, 모든 슬롯이 사용된 후 e-means 알고리즘으로 하나의 슬롯 내에서 화자 임베딩을 클러스터링한다.
- 스트리밍 시스템에서는 재클러스터링을 제한된 윈도우 내로 제한하고, 몇 초 범위의 레이블을 수정하며, ID를 슬롯에 고정시킨다.
- 화자 수가 슬롯을 초과해 기존 모델이 성능이 떨어지는 상황에서도 정확도를 유지한다.
- 1시간 길이의 회의에서 오류가 누적되는 Streaming Sortformer보다 훨씬 높은 정확도를 보이며, 미팅 길이에 따라 연산 비용이 증가하지 않는다.
- 4개 슬롯의 Streaming Sortformer를 화자 무제한 시스템으로 변환할 수 있으며, e-means는 Lloyd's k-means와 동등한 클러스터링 품질을 여러 배 빠르게 달성한다.
- 대규모 음성 데이터베이스에서 프레임 단위로 화자를 연결할 때도 e-means는 비용 효율적으로 작동한다.
- 알고리즘은 튜닝이 거의 필요 없으며, 수백 개에서 백만 개 이상의 임베딩 규모에서 기본 설정으로 실행된다.