스트리밍 음성인식 중 한 번 출력한 텍스트는 절대 수정 안 함
원제 Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
추천 90댓글 2
Key Point
실시간 번역·음성 에이전트 같은 애플리케이션에서 텍스트 수정으로 인한 오작동을 원천 차단하는 새로운 기술 접근 방식을 보여준다.
핵심 요약
- 네이즈 유다오가 Confucius4-R2T2라는 스트리밍 음성인식 모델을 공개했으며, 이 모델은 한 번 생성한 텍스트를 절대 수정하지 않으면서도 높은 정확도와 낮은 지연시간을 유지한다.
- 기존 스트리밍 음성인식 모델은 토큰을 생성한 후 나중에 수정하곤 하는데, 이는 번역기나 음성 에이전트 같은 머신이 잘못된 작업을 수행하게 한다.
- R2T2는 Qwen3-ASR-1.7B를 중국어와 영어 1,500시간 음성으로 후학습하되, 사전학습된 음성 인코더와 프로젝터는 동결해서 개발했다.
- 논문은 'Longest Stable Prefix(LSP)'라는 새로운 개념을 제시하며, 이것이 접두사 순서에서 단조이고 전체 음성 인식 결과와 일관되며 이전 출력과 같은 레이블 중 최대라는 것을 증명했다.
- LSP 레이블로 학습하면 아키텍처 변경 없이 전체 맥락 모델을 안정적인 스트리밍 모델로 변환할 수 있다.
- 광범위한 평가 결과 R2T2는 기본 모델의 전체 맥락 품질에 가까운 스트리밍 인식을 제공하면서 낮은 발화 지연시간으로 안정적인 텍스트를 전달한다.
- R2T2의 성능 향상은 후학습에 사용되지 않은 언어까지 확장되어, 전체 맥락 음성인식에서 안정적 스트리밍으로의 실용적인 변환 경로를 제시한다.
- 모델 가중치와 코드는 Hugging Face와 깃허브에서 오픈소스로 공개되었다.