자체 음성어시스턴트를 더 똑똑하게: 엔진 교체기
원제 Rebuilding my local voice assistant pipeline
107 포인트댓글 17

Key Point
자체 호스팅 음성어시스턴트가 상용 제품만큼 신뢰할 수 없었던 문제를 엔진 교체와 알고리즘 개선으로 얼마나 해결할 수 있는지 보여주고, 각 컴포넌트의 구체적인 성능 개선(대화 종료 시간 1/4-1/6로 단축) 과정을 공유한다.
핵심 요약
- Platypush 음성어시스턴트 파이프라인을 재구축하면서 openwakeword에서 microWakeWord로 전환했다.
- openWakeWord는 2023년 모델로 오래되어 위양성(배경 소음 감지)과 위음성(가까울 때만 감지) 문제가 많았다.
- microWakeWord는 ESPHome과 Home Assistant Voice가 사용하며 모델이 적극 유지보수되고, 패키지에 사전학습 모델(okay_nabu, hey_jarvis, hey_mycroft, alexa)이 포함된다.
- 음성 구간 감지(VAD)를 Silero VAD(onnxruntime 기반)를 주 엔진으로 하고 WebRTC VAD와 RMS 감지기를 대체 옵션으로 사용하도록 개선했다.
- 음성 끝 감지 로직에 히스테리시스(임계값 여유) + 슬라이딩 윈도우(0.5초 이동평균)를 추가해 소음이 대화를 계속 유지하지 않도록 했다.
- 적응형 노이즈 플로어(배경 소음 추적)로 프레임이 현재 노이즈 플로어의 2배보다 커야만 음성으로 판단한다.
- 합성 벤치마크에서 기존 설정은 말이 끝난 후 6-10초 뒤에 대화를 종료했지만, 새 파이프라인은 1.0-1.6초 뒤에 종료한다.
- 여러 STT 플러그인이 공유하는 AudioPreprocessor를 개선했으므로 assistant.vosk 같은 다른 음성인식 엔진도 개선 사항을 받는다.
- 응답은 openai 플러그인에서 처리하고, 질문으로 끝나면 후속 대화를 계속하거나 커스텀 훅으로 LLM 호출 없이 로컬 명령(예: 음악 재생)을 처리할 수 있다.
- TTS는 tts.openai를 사용하고, tts.piper(온디바이스)도 테스트했으나 라즈베리파이5에서 3-4초 지연이 추가된다.
- 웨이크 단어 감지는 대화 중 일시 중지되어 스피커 출력을 마이크가 감지하는 것을 방지한다.
- 라즈베리파이 마이크가 16kHz를 네이티브 지원하지 않아 44.1kHz에서 캡처 후 소프트웨어 리샘플링하므로 감지 지연이 발생할 수 있다.
- VAD와 임계값은 합성 음성과 작성자 음성 녹음으로 튜닝되었으므로 환경에 따라 detection_threshold와 noise_floor_factor를 조정해야 할 수 있다.