음성 대화형 AI를 위한 압축 토큰 처리 기법 제안
원제 CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
추천 12댓글 2
Key Point
음성 대화 모델의 추론 비용을 크게 줄이면서 모델 재학습 없이 기존 시스템에 적용할 수 있는 방법이 제시되어, 실제 음성 AI 서비스의 성능과 비용 효율성을 동시에 개선할 수 있다.
핵심 요약
- 음성 대화형 AI 모델(SDM)이 음성 생성과 합성에 같은 토큰 공간을 쓰면서 긴 자동 회귀 시퀀스와 높은 추론 비용이 발생한다.
- 기존의 저율 토크나이저는 시퀀스를 짧게 하지만 압축 품질 손상과 모델 교체 비용이 크다.
- CoSTA는 원본 음성 토크나이저와 디코더를 유지하면서 생성과 합성 토큰 공간을 분리하는 호환성 보존형 프레임워크다.
- 평균값 초기화 어휘 확장, 발음 적응, 대화 적응으로 생성 토큰 공간을 확장하고, 합성 전에 결정론적 확장으로 원본 공간으로 복원한다.
- 이중언어 음성 대화 벤치마크에서 음성 토큰 생성 속도가 약 1.7배 향상되고 전체 응답 지연이 감소하며 처리량이 증가한다.
- 응답 품질은 유지되고, 제한된 예산에서 더 지속적인 상호작용이 가능해진다.
- 압축, 디코딩 효율성, 품질 간의 실용적 균형을 제공하며 아키텍처 간 이전과 저율 토큰화와의 상호보완성을 보인다.