음성 에이전트가 말 듣는 중에 일을 준비한다

핵심 요약

• 음성 기반 도구 사용 에이전트는 사용자가 말을 다 한 후에도 대기 시간이 길어질 수 있는데, 실제로는 말하는 도중에 필요한 정보가 이미 나온다.
• 기존 추측적(speculative) 접근은 음성 입력 중에 작업을 시작하지만, 청크 경계나 업데이트 시 중단 방식은 도구 호출의 인자가 완성되기 전에 잘릴 수 있다.
• 이 논문은 '하트비트 싱킹(Heartbeat Thinking)'을 제안하는데, 이는 음성 업데이트 시마다 새로운 사고 인스턴스를 호출하면서도 진행 중인 작업과 배포된 도구는 계속 실행할 수 있도록 한다.
• 주기적 호출이 최신 부분 음성인식 결과와 완료된 추론·도구 결과의 공유 기록을 읽으면서, 음성 업데이트를 거쳐도 계산이 중단되지 않는다.
• 이 방식은 누락된 인자를 해결하고 종속 도구 호출을 미리 시작해 준비 작업을 진행할 수 있게 한다.
• SpeechFCEval, FDBench v3, AudioCRAG 벤치마크에서 기존 윈도우 기반 방식(SHANKS)보다 추측적 도구 커버리지와 검색 재사용성이 향상되었다.
• FDBench v3에서는 도구 커버리지가 16 포인트 증가했고, 최종 응답 지연 시간이 36.4% 감소했다.