Fish Audio Drama 3, 자연어 지시로 성우 같은 음성 생성

핵심 요약

• 텍스트를 연기하는 형태의 음성으로 변환하는 오픈소스 모델 Fish Audio Drama 3을 공개했다.
• 35B 파라미터 혼합 전문가 구조에 토큰당 3B 파라미터만 활성화하며, 여러 참조에서 목소리를 복제하고 자연어 지시에 따른다.
• 다음 턴의 피드백으로 테이크를 수정하고, 여러 캐릭터 장면에 음성을 부여하며, 기존 음성을 인필로 편집하고 장시간·스트리밍 오디오를 합성한다.
• 멀티턴 수정, 장면 더빙, 인필 편집, 스트리밍 텍스트 입력이 Drama 3에서 새로 추가되었다.
• 선형 어텐션 백본을 각 프레임의 음향 코드북을 별도 레이어에서 예측하는 새로운 코드북 다중토큰 예측 디코더와 결합했다.
• 3단계 사전학습, 지시 미세조정, 인간 선호도 모델만을 보상으로 하는 대규모 배치 강화학습으로 학습했다.
• H200 한 장에서 초당 271프레임으로 추론하며, Fish Audio S2의 177프레임보다 빠르지만 파라미터는 7배 이상 많다.
• 모델 가중치는 GitHub와 Hugging Face에서 공개되고, SGLang-Omni를 통해 추론 서비스를 제공한다.