멜-스펙트로그램 직접 활용한 자동회귀 음성합성 VoxMel
Key Point
멜-스펙트로그램을 직접 사용해 복잡한 인코더 없이 고품질 음성합성을 가능하게 한 새로운 접근으로, 추론 속도와 품질의 균형을 개선했다.
핵심 요약
- 음성합성에서 자동회귀 모델은 안정적 예측을 위해 압축된 음향 표현이 필요한데, 기존 방식들은 복잡한 신경망 인코더를 사용해 생성 품질을 제한했다.
- VoxMel은 토크나이저 없이 고정된 Haar 변환으로 멜-스펙트로그램을 직접 모델링하는 프레임워크로, 이는 정확히 역변환 가능하다.
- 변환은 먼저 각 멜-스펙트로그램을 주파수 축으로 분해해 국소 평균과 주파수 잔차를 얻고, 평균 성분을 시간 축으로 분해해 Coarse-Mel과 시간 잔차를 얻는다.