음성 생성 통합 엔드투엔드 프레임워크 WaveGen 공개
원제 WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
추천 18댓글 3
Key Point
기존 음성 합성 파이프라인의 복잡한 멀티스테이지 구조를 완전히 통합하고 외부 모듈 의존성을 제거한 진정한 엔드투엔드 모델로, 음성 생성 시스템의 단순화 가능성을 보여준다.
핵심 요약
- WaveGen은 확산 모델 기반의 완전 엔드투엔드 텍스트-파형 생성 프레임워크로, 스펙트럼 강제(Spectral Forcing) 기법으로 내부 스펙트럼 궤적과 대상 파형 궤적을 단일 모델에서 동시 학습한다.
- 신경 오디오 코덱, 멜-스펙트로그램 보코더, VAE 기반 잠재 모델 등 별도 학습된 중간 표현에 의존하지 않으며, 지속시간 예측기 같은 외부 정렬 모듈 없이 모델 내부에서 텍스트-음성 정렬을 수행한다.
- BERT 기반 텍스트 임베딩, Wav2Vec 2.0 기반 의미 표현, 의미 증류 같은 자기지도 표현 의존성도 제거해 진정한 엔드투엔드 구조를 유지한다.
- 비분리 확산 헤드를 가진 아키텍처와 다중 스케일 스펙트럼 v-loss 기반 학습 목표를 설계했으며, 모델 크기를 0.1B에서 0.6B 파라미터로 확장했을 때 확장성을 검증했다.
- 단일 아키텍처, 오픈소스 데이터, 원스테이지 학습만으로 지속시간 예측기나 REPA 같은 외부 모듈 없이 완전한 파형 생성을 구현했다.
- Emilia 학습 데이터셋에서 최고 성능을 달성했으며, Seed-en 벤치마크에서 WER 1.47%, SIM 0.75의 성과를 기록했다.
- 소스 코드와 체크포인트는 공개되어 있다.