GitHub Trending오픈소스 · 도구

openai/whisper

오픈AI 음성 인식 모델 Whisper, 깃허브 트렌딩

원제 openai/whisper

스타 112,627당일 +113Python
Key Point

음성 인식이 필요한 개발자라면 오픈소스로 무료 사용할 수 있는 Whisper의 다양한 모델과 다국어 지원, 구체적인 성능 지표를 파악하는 것이 중요하다.

핵심 요약

  • OpenAI가 공개한 Whisper는 대규모 약지도 학습으로 학습된 범용 음성 인식 모델이다.
  • Transformer 시퀀스-투-시퀀스 구조를 사용하며 다국어 음성 인식, 음성 번역, 언어 식별, 음성 활동 감지 등 여러 음성 처리 작업을 동시에 수행할 수 있다.
  • 특수 토큰을 사용한 멀티태스크 학습 방식으로 전통적인 음성 처리 파이프라인의 여러 단계를 하나의 모델로 통합한다.
  • 6가지 모델 크기(tiny부터 turbo까지)를 제공하며, 39M부터 1550M 파라미터 범위로 속도와 정확도 간 트레이드오프를 제공한다.
  • turbo 모델은 large-v3 최적화 버전으로 빠른 추론 속도를 제공하지만 번역 작업은 지원하지 않는다.
  • 영어 전용 모델(.en)은 일반 모델보다 성능이 우수하며, tiny와 base 모델에서 차이가 더 크다.
  • Python 3.8-3.11과 최신 PyTorch 버전을 지원하며, pip 또는 git으로 설치할 수 있고 ffmpeg 의존성이 필요하다.
  • 명령행 인터페이스와 Python API로 모두 사용 가능하며, 기본적으로 turbo 모델을 사용한다.
  • 비영어 음성 번역이 필요할 경우 tiny, base, small, medium, large 모델을 사용해야 한다.
  • 코드와 모델 가중치는 MIT 라이선스로 공개되어 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗