NVIDIA, 음성 실시간 대화 AI 'PersonaPlex' 공개

핵심 요약

• NVIDIA가 Moshi 아키텍처 기반의 실시간 풀 듀플렉스 음성 대화 모델 PersonaPlex를 공개했다.
• 텍스트 기반 역할 프롬프트와 오디오 기반 음성 조건화를 통해 페르소나 제어가 가능하며, 합성 및 실제 대화 데이터로 학습되어 자연스럽고 저지연 음성 상호작용을 생성한다.
• 모델은 HuggingFace에서 personaplex-7b-v1로 제공되며, MIT 라이선스 코드와 NVIDIA Open Model 라이선스 가중치로 배포된다.
• 웹 UI를 통해 로컬 또는 원격에서 실시간 상호작용이 가능하며, GPU 메모리 부족 시 CPU 오프로드 옵션으로 실행할 수 있다.
• 모델은 어시스턴트 역할의 고정 프롬프트와 고객 서비스, 캐주얼 대화용 가변 프롬프트를 지원하며, Fisher English Corpus 실제 대화로도 학습되었다.
• 오프라인 평가를 위해 입력 WAV 파일을 스트리밍하고 동일한 길이의 출력 WAV 파일을 생성하는 스크립트가 제공된다.
• 기본 Helium LLM의 광범위한 학습 데이터로부터 훈련 분포 밖의 프롬프트에도 응답하는 일반화 능력을 갖추고 있으며, 사용자가 예상 밖의 대화 시나리오를 실험할 것을 권장한다.