낮은 대역폭에서 음성 품질 지키는 적응형 음성 코덱 공개

핵심 요약

• 신경망 기반 음성 코덱은 음성을 이산 토큰으로 변환하는데, 프레임 레이트가 낮을수록 토큰 시퀀스가 짧아지지만 각 토큰이 더 많은 정보를 담아야 한다.
• 기존 가변 프레임 레이트 코덱은 임계값 기반 할당으로 콘텐츠에 따라 토큰 개수가 달라져 생성 모델이 예측해야 할 시퀀스 길이가 불안정하다.
• RubatoCodec은 X-Codec-2 기반의 가변 프레임 레이트 음성 코덱으로, 발화 단위의 명시적 이벤트 예산과 스트리밍 디코딩을 지원한다.
• Adaptive Firing 메커니즘은 학습된 경계 예측기 없이 코덱 특징과 파형 스펙트럼 변화를 이용해 음성을 가변 길이 이벤트로 분할한다.
• 각 이벤트는 이산 코드와 명시적 지속 시간으로 표현되므로, 음성 생성 모델이 한 번에 하나의 이벤트씩 예측하고 디코딩할 수 있다.
• 고정 프레임 레이트 코덱 대비 낮은 이벤트 레이트에서 재구성 충실도와 명료성이 우수하며, 영어·일본어 벤치마크에서 동등 대역폭 조건 하 비교 코덱 중 최고의 명료성을 유지한다.
• 대규모 다국어 음성으로 학습한 모델은 영어, 일본어, 만다린어 전반에서 경쟁력 있는 재구성 품질을 달성한다.
• 텍스트음성합성 비교에서 적응형 표현이 고정 표현 대비 낮은 단어 오류율과 더 높은 UTMOS·UTMOSv2 점수를 기록하면서도 화자 유사성은 유지한다.
• 음성 생성 모델은 명시적인 생성 시점 속도 제약 없이도 코덱의 발화 단위 이벤트 예산을 학습한다.
• 코드와 가중치는 GitHub과 Hugging Face에서 공개된다.