StyleStream 2.0, 음성 스타일 변환 속도 2배 높이고 텍스트 제어 추가

핵심 요약

• StyleStream 2.0은 음성의 음색, 억양, 감정을 대상 화자에 맞춰 변환하면서 음성 내용을 보존하는 스트리밍 음성 스타일 변환 시스템이다.
• 이전 버전인 StyleStream 1.0의 문제점을 해결했다: 소비자급 GPU에서 약 1초의 레이턴시를 520ms로 단축(2배 속도 개선)하고, 대상 음성을 설계·편집할 텍스트 기반 인터페이스를 추가했다.
• 레이턴시 감소를 위해 몇 단계의 픽셀 MeanFlow 모델을 학습하고 Self Forcing에서 영감을 받은 자기회귀 피드백으로 세부 조정하여 스트리밍 추론 견고성을 개선했다.
• 제어 가능한 스타일 조작을 위해 멜 스펙트로그램 컨텍스트를 제거하고 대신 컴팩트 스타일 임베딩으로 대상 스타일 정보를 전달한다.
• 통합 텍스트 조건부 플로우 매칭 모델을 학습하여 자연어 프롬프트를 음성 스타일로 변환하는 텍스트 기반 음성 설계와, 특정 속성만 수정하면서 나머지는 보존하는 명령어 기반 음성 편집을 모두 지원한다.
• 실험 결과 StyleStream 2.0은 음성 스타일 변환, 음성 설계, 음성 편집에서 가장 강력한 대상 스타일 충실도를 달성하면서 명료성과 편집되지 않은 속성 보존 성능도 경쟁력 있게 유지했다.