음성 언어 모델의 응답 지연을 73% 줄이는 추론 기법
원제 Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models
추천 10댓글 3
Key Point
실시간 음성 대화 AI의 응답 지연을 인간 수준으로 줄이는 기술적 해법이 실제 모델들에서 어떻게 작동하고 얼마나 효과적인지 구체적으로 보여준다.
핵심 요약
- 청크 단위로 음성을 주고받는 풀듀플렉스 음성 언어 모델은 대기 중 연산 자원이 유휴 상태가 되어 응답과 도구 호출이 지연되는 문제가 있다.
- 연구팀은 무음을 입력으로 가정해 다음 청크를 미리 생성하는 '스펙큘러티브 리스닝(Speculative Listening)' 기법을 제안했다.
- 4개 모델 분석 결과 다음 음성 청크가 출력을 바꾸지 않는 경우가 95.3%였고, 변화가 생기는 88%는 첫 번째 출력 토큰부터 시작됐다.
- 이 성질을 바탕으로 모델은 대기 시간에 무음 상태의 다음 청크를 초안 작성하고, 첫 토큰의 변화가 있으면 두 번째 후보 토큰으로 분기하는 방식으로 동작한다.
- 생성된 모든 초안은 크로스 청크 가설 풀에 보관되었다가 실제 음성이 도착할 때 검증된다.
- 8가지 과제의 TickTock-Bench 벤치마크에서 말하기 청크의 속도를 2.6~2.8배, 도구 호출 청크를 최대 23.4배 가속화했다.
- 응답 시작 전 디코딩 지연을 평균 73% 줄여 74~241 ms로 감소시켜 인간의 대화 간격 200 ms에 가깝게 만들었고, 실시간 대비 최대 지연을 94.4% 단축했다.
- 이 방법은 추가 학습이 필요 없으며 손실 없이 작동한다.