모든 것에 LLM이 필요한 건 아니다

Key Point
LLM 비용과 지연 시간이 문제인 개발팀이 더 효율적인 대안을 선택하는 방법을 배울 수 있으며, 디시전 모델이 LLM을 완전히 대체할 수 없지만 특정 업무에서는 훨씬 나은 선택지임을 보여준다.
핵심 요약
- LLM은 간단한 질문에도 장황한 답을 주지만, 디시전 모델(Jev)은 구조화된 질문에 확률 점수를 함께 반환하므로 모델의 불확실성이 명시적으로 드러난다.
- 디시전 모델은 프론티어 LLM보다 최대 444.6배 저렴하고 193.6배 빠르므로, 비용이 많이 드는 LLM 호출이 정말 필요한지 먼저 판단하는 게이트로 사용할 수 있다.
- PostHog의 세션 녹화 요약 서비스인 Replay Vision에서는 개인정보 필터링을 위해 2개의 yes/no 질문을 사용하고, 0.4 이상의 점수만 Gemini LLM에 전달하므로 전체 요약의 98.7%가 LLM 호출을 건너뛴다.