OpenBMB/VoxCPM
토크나이저 없는 다국어 음성합성 VoxCPM2 공개
원제 OpenBMB/VoxCPM
스타 37,509당일 +216Python
Key Point
텍스트 설명만으로 음성을 만들고, 짧은 샘플로 목소리를 복제하며, 한 번에 48kHz 고품질 오디오를 생성하는 음성합성 기술이 오픈소스로 공개되어 개발자들이 자유롭게 활용할 수 있게 됐다.
핵심 요약
- OpenBMB가 VoxCPM2를 출시했다. 토크나이저를 거치지 않고 직접 음성을 생성하는 2B 파라미터 모델으로, 200만 시간 이상의 다국어 음성 데이터로 학습됐다.
- 30개 언어를 지원하며 텍스트 설명만으로 새로운 음성을 만드는 음성 설계 기능, 짧은 음성 샘플로 목소리를 복제하는 제어 가능한 클로닝, 음성과 대본을 함께 제공하는 최고 품질 클로닝을 지원한다.
- 입력은 16kHz 음성을 받아 48kHz 스튜디오 품질 오디오로 출력하며, RTX 4090에서 RTF 0.3 수준의 실시간 스트리밍 속도를 달성한다.
- Apache-2.0 라이선스로 상용 이용이 가능하며, Hugging Face와 ModelScope에서 가중치와 코드를 공개했다.
저장소 보기 ↗github.com