Hugging Face 논문AI · 머신러닝

화자 수 제한 없는 실시간 회의 음성 분리 기술

원제 eDIAR: Training-Free Open-Speaker Streaming Diarization for Long Meetings and Large Archives via e-means

추천 11댓글 2Kyudan Jung, Jihwan Kim, Minwoo Lee 외
Key Point

회의실 모임에서 몇 명이 참석할지 미리 알 수 없는 상황에서, 기존 고정 슬롯 방식을 완전히 벗어나 무제한의 화자를 실시간으로 인식할 수 있는 첫 실용적 솔루션이다.

핵심 요약

  • 기존 신경망 기반 음성 분리 모델들(Streaming Sortformer, Nemotron-3)은 고정된 수의 출력 슬롯을 가져 미리 정한 수의 화자만 인식할 수 있다는 한계가 있었다.
  • eDIAR은 재학습 없이 슬롯 수 제한을 제거한 훈련 자유 방식의 음성 분리 시스템이다.
  • 슬롯 헤드가 활성 화자와 음성 겹침을 결정하고, 모든 슬롯이 사용된 후 e-means 알고리즘으로 하나의 슬롯 내에서 화자 임베딩을 클러스터링한다.
  • 스트리밍 시스템에서는 재클러스터링을 제한된 윈도우 내로 제한하고, 몇 초 범위의 레이블을 수정하며, ID를 슬롯에 고정시킨다.
  • 화자 수가 슬롯을 초과해 기존 모델이 성능이 떨어지는 상황에서도 정확도를 유지한다.
  • 1시간 길이의 회의에서 오류가 누적되는 Streaming Sortformer보다 훨씬 높은 정확도를 보이며, 미팅 길이에 따라 연산 비용이 증가하지 않는다.
  • 4개 슬롯의 Streaming Sortformer를 화자 무제한 시스템으로 변환할 수 있으며, e-means는 Lloyd's k-means와 동등한 클러스터링 품질을 여러 배 빠르게 달성한다.
  • 대규모 음성 데이터베이스에서 프레임 단위로 화자를 연결할 때도 e-means는 비용 효율적으로 작동한다.
  • 알고리즘은 튜닝이 거의 필요 없으며, 수백 개에서 백만 개 이상의 임베딩 규모에서 기본 설정으로 실행된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗