openai/whisper
오픈AI 음성 인식 모델 Whisper, 깃허브 트렌딩
원제 openai/whisper
스타 112,627당일 +113Python
Key Point
음성 인식이 필요한 개발자라면 오픈소스로 무료 사용할 수 있는 Whisper의 다양한 모델과 다국어 지원, 구체적인 성능 지표를 파악하는 것이 중요하다.
핵심 요약
- OpenAI가 공개한 Whisper는 대규모 약지도 학습으로 학습된 범용 음성 인식 모델이다.
- Transformer 시퀀스-투-시퀀스 구조를 사용하며 다국어 음성 인식, 음성 번역, 언어 식별, 음성 활동 감지 등 여러 음성 처리 작업을 동시에 수행할 수 있다.
- 특수 토큰을 사용한 멀티태스크 학습 방식으로 전통적인 음성 처리 파이프라인의 여러 단계를 하나의 모델로 통합한다.
- 6가지 모델 크기(tiny부터 turbo까지)를 제공하며, 39M부터 1550M 파라미터 범위로 속도와 정확도 간 트레이드오프를 제공한다.
- turbo 모델은 large-v3 최적화 버전으로 빠른 추론 속도를 제공하지만 번역 작업은 지원하지 않는다.
- 영어 전용 모델(.en)은 일반 모델보다 성능이 우수하며, tiny와 base 모델에서 차이가 더 크다.
- Python 3.8-3.11과 최신 PyTorch 버전을 지원하며, pip 또는 git으로 설치할 수 있고 ffmpeg 의존성이 필요하다.
- 명령행 인터페이스와 Python API로 모두 사용 가능하며, 기본적으로 turbo 모델을 사용한다.
- 비영어 음성 번역이 필요할 경우 tiny, base, small, medium, large 모델을 사용해야 한다.
- 코드와 모델 가중치는 MIT 라이선스로 공개되어 있다.
저장소 보기 ↗github.com