엔비디아, 40개 언어 지원하는 오픈 음성인식 모델 공개

핵심 요약

• 엔비디아가 Nemotron 3.5 Transcribe 모델을 공개했으며, 40개 언어 음성을 텍스트로 변환하고 31개 언어 간 번역, 13개 언어의 화자 구분을 모두 하나의 체크포인트에서 수행한다.
• 최대 1시간 길이 음성을 처리하고 최대 8명의 화자를 레이블링하며, 자연어 프롬프트로 출력을 제어할 수 있어 의료 받아쓰기·다국어 회의 등 도메인별 요구에 맞춘 결과를 얻을 수 있다.
• Hugging Face 오픈 ASR 리더보드 영어 부문에서 5.33% 평균 WER로 오픈 가중치 모델 중 1위, Artificial Analysis 레더보드에서 약 4B 활성 매개변수로 2.8% AA-WER을 달성해 파레토 경계에 위치한다.
• David AI의 21개 언어 화자 구분 리더보드에서 가장 낮은 오류율(18.26% DER)을 기록했으며, VoiceArena의 14개 시스템 비교에서 영어 풀 세션 기준 1위를 차지했다.
• 양자화 버전이 곧 출시되어 RTX Spark, DGX Spark, Jetson AGX Thor 같은 엣지 디바이스에서 로컬 실행이 가능하고, Blackwell 데이터센터 GPU로 대규모 확장도 지원한다.
• Granary v2는 Nemotron 3.5 Transcribe 학습에 사용된 다국어 데이터와 재사용 가능한 큐레이션 파이프라인으로, 48개 언어의 463,062시간 음성과 각 녹음마다 3가지 텍스트 형식 변형본을 포함한다.
• 파이프라인은 음성 준비·ASR·과제 레이블 생성·고충실도(HiFi) 필터링의 4단계로 구성되며, 각 음성 세그먼트에 대해 정규화된 축자본·역정규화본(비유창성 포함/제외), 단어 수준 타임스탬프, 컨텍스트 ASR 바이어싱 용어, 번역을 생성한다.
• 의료 분야 사례 연구에서 프롬프트 개선만으로 WER을 30.8%에서 23.8%로 줄였고, 미세조정(LoRA 기반 언어모델 적응)을 통해 보유하지 않은 화자에 대해 22.44%에서 12.17%로 45.8% 상대 감소를 달성했다.
• 의료 도메인 데이터는 합성 음성(약 153시간), 공개 음성 데이터셋(약 29시간), 의료 녹음(약 63시간)을 결합했으며, 미세조정은 1개의 NVIDIA GB300 GPU에서 약 14시간 소요되었다.
• NeMo Curator를 이용해 개발자가 자신의 녹음이나 공개 코퍼스에 파이프라인을 실행하거나 Granary v2 공개 매니페스트를 기반으로 빌드할 수 있으며, 100개 이상의 실제 레이블 클립을 도메인별 체크포인트 선택에 보유할 것을 권장한다.
• vLLM, SGLang-Omni으로 자체 호스팅이 가능하고, Baseten, DeepInfra, Simplismart 등에서 호스팅 엔드포인트를 제공하며, 모델 체크포인트와 Granary v2 매니페스트는 Hugging Face와 ModelScope에서 공개되어 있다.
• 일 클래스의 실시간 음성·영상 플랫폼인 Agora는 단어 수준 타임스탐프를 이용해 녹화된 수업을 트랜스크립트와 함께 표시하는 데모를 구축했다.