마이크로소프트, 음성 AI 모델 제품군 VibeVoice 공개

핵심 요약

• 마이크로소프트가 오픈소스 음성 AI 모델 패밀리 VibeVoice를 공개했으며, 음성 인식(ASR)과 음성 합성(TTS) 모두 지원한다.
• 핵심 기술은 7.5Hz 초저속도의 연속 음성 토크나이저(Acoustic, Semantic)를 사용해 음질을 보존하면서도 긴 시퀀스 처리 효율을 높인다.
• VibeVoice-ASR은 60분 길이의 음성을 한 번에 처리하며, 화자 식별, 타임스탐프, 내용을 포함한 구조화된 전사를 생성한다.
• 사용자 정의 핫워드를 지원해 특정 이름·기술 용어 등 도메인 전문 콘텐츠의 인식 정확도를 향상시킬 수 있다.
• 스트리밍 변형은 음성 도착 중에 실시간으로 전사하며, 50개 이상의 언어를 지원한다.
• VibeVoice-TTS는 90분 길이의 음성을 생성할 수 있고, 최대 4명의 화자를 지원하며 자연스러운 회화 흐름을 유지한다.
• VibeVoice-Realtime-0.5B는 0.5B 파라미터 경량 모델로, 약 300밀리초의 첫 음성 지연 시간과 스트리밍 텍스트 입력을 지원한다.
• VibeVoice-ASR-BitNet은 이질 양자화(I8_S + I2_S)로 모델을 4.62GB에서 1.58GB로 압축하고, GPU 없이 3개 이상 CPU 스레드에서 실시간 추론(RTF < 1)을 가능하게 한다.
• 모델은 Hugging Face Transformers 라이브러리에 통합되었고, Azure AI Foundry Labs에도 포함되어 있다.
• 미세 조정 코드와 vLLM 추론 지원을 포함해 다양한 배포 옵션을 제공한다.
• 본 모델은 연구 개발 목적으로만 의도되었으며, 깊페이크·사기·잘못된 정보 확산의 위험성을 인정하고 상용 및 실무 응용 사용을 권장하지 않는다.