멜-스펙트로그램 직접 활용한 자동회귀 음성합성 VoxMel
원제 VoxMel TTS Technical Report
추천 17댓글 2
Key Point
멜-스펙트로그램을 직접 사용해 복잡한 인코더 없이 고품질 음성합성을 가능하게 한 새로운 접근으로, 추론 속도와 품질의 균형을 개선했다.
핵심 요약
- 음성합성에서 자동회귀 모델은 안정적 예측을 위해 압축된 음향 표현이 필요한데, 기존 방식들은 복잡한 신경망 인코더를 사용해 생성 품질을 제한했다.
- VoxMel은 토크나이저 없이 고정된 Haar 변환으로 멜-스펙트로그램을 직접 모델링하는 프레임워크로, 이는 정확히 역변환 가능하다.
- 변환은 먼저 각 멜-스펙트로그램을 주파수 축으로 분해해 국소 평균과 주파수 잔차를 얻고, 평균 성분을 시간 축으로 분해해 Coarse-Mel과 시간 잔차를 얻는다.
- 언어 모델 백본에 플로우 매칭 헤드를 붙여 Coarse-Mel을 자동회귀적으로 생성하고, 비자동회귀 계층들이 시간 잔차와 주파수 잔차를 순차적으로 예측한다.
- 100K 시간의 Emilia 데이터셋으로 학습한 0.6B 모델은 test-en에서 1.51% WER과 0.738 화자 유사도, test-zh에서 1.29% CER과 0.755 유사도를 달성했다.
- GRPO 강화학습으로 성능을 개선해 test-en에서 1.15% WER / 0.753 유사도, test-zh에서 1.17% CER / 0.776 유사도를 얻었다.
- 플로우 헤드를 2단계, 4단계 경량 모델로 증류해 각 coarse 프레임당 2회 또는 4회 평가만 필요하게 했고, 4단계 모델은 유사도를 유지하면서 감시 학습 모델과 거의 같은 수준의 WER/CER을 보인다.