알리바바 Qwen-Audio-3.1-ASR, 화자 식별과 음성 분석 강화

핵심 요약

• 알리바바의 Qwen-Audio-3.1-ASR은 이전 버전의 음성 인식을 개선하고 화자 분리 전사, 일반 오디오 이해 기능을 추가한 오디오-언어 모델 제품군이다.
• 30개 언어와 16개 중국 방언을 지원하며, 이전 발화 맥락 반영, 계층형 핫워드 커스터마이징, 자동 전사 보정 등 명령 제어 기능을 제공한다.
• 화자 분리 ASR은 화자 레이블, 타임스탐프, 인식된 텍스트를 포함한 구조화된 출력을 생성하며, 턴 전체에 걸쳐 일관된 화자 레이블을 유지하고 겹치는 음성을 표현한다.
• 일반 오디오 이해 기능은 음성·음악 캡션 생성, 시간적 위치 파악, 음향 사건 감지, 오디오 질문 응답, 객관식 추론을 포함한다.
• 비동기 파일 전사, 저지연 스트리밍, 상호작용형 음성 입력, 논스트리밍 인식 등 배포 요구사항에 맞춘 다양한 변형을 제공하며, 일부 변형에서는 화자 분리 전사와 일반 오디오 이해 기능을 지원한다.
• 기존 ASR, 다국어 방언 음성, 화자 분리 전사, 일반 오디오 이해를 포괄하는 평가를 통해 전사 및 광범위한 음성 분석 작업에서의 역량을 입증했다.