Hacker NewsAI · 머신러닝

모든 것에 LLM이 필요한 건 아니다

원제 Not Everything Needs an LLM

108 포인트댓글 44
Key Point

LLM 비용과 지연 시간이 문제인 개발팀이 더 효율적인 대안을 선택하는 방법을 배울 수 있으며, 디시전 모델이 LLM을 완전히 대체할 수 없지만 특정 업무에서는 훨씬 나은 선택지임을 보여준다.

핵심 요약

  • LLM은 간단한 질문에도 장황한 답을 주지만, 디시전 모델(Jev)은 구조화된 질문에 확률 점수를 함께 반환하므로 모델의 불확실성이 명시적으로 드러난다.
  • 디시전 모델은 프론티어 LLM보다 최대 444.6배 저렴하고 193.6배 빠르므로, 비용이 많이 드는 LLM 호출이 정말 필요한지 먼저 판단하는 게이트로 사용할 수 있다.
  • PostHog의 세션 녹화 요약 서비스인 Replay Vision에서는 개인정보 필터링을 위해 2개의 yes/no 질문을 사용하고, 0.4 이상의 점수만 Gemini LLM에 전달하므로 전체 요약의 98.7%가 LLM 호출을 건너뛴다.
  • 디시전 모델은 거짓 양성과 거짓 음성 모두 범할 수 있으므로, 각 경우의 비용에 따라 임계값을 조정해야 한다.
  • 디시전 모델을 모델 라우터로 사용해 요청을 가장 저렴하면서도 작업을 완수할 가능성이 높은 LLM으로 자동 배정할 수 있다.
  • 다양한 모델과 작업 간에 임계값이 다르므로, 모델 버전 변경 시 재검정이 필요하고 모든 프로젝트에 공통된 임계값을 적용할 수 없다.
  • 복잡한 추론이 필요하지 않고 입력 데이터를 단순화할 수 있으면, 디시전 모델을 단순 판정 기준으로 사용할 수 있다.
  • Replay Vision의 검색 기능에서 디시전 모델은 임베딩으로 얻은 초기 결과 목록에 대해 사용자 검색 쿼리와의 매칭 여부만 판정하므로, 20개 테스트 쿼리에서 순위 품질을 약 25% 개선했다.
  • 다단계 추론이 필요한 작업에 디시전 모델을 연쇄 사용하면 대량의 토큰을 처리해야 되므로 비효율적이고, 그런 작업은 LLM에 맡기거나 사전 처리를 거쳐야 한다.
  • SQL 쿼리의 차트 추천 같이 LLM이 과도한 단순 작업은 디시전 모델로 처리할 수 있으며, 쿼리와 초기 결과 행 3개만 보고도 더 나은 시각화를 제안했다.
  • PR 검토 순위 매김 같은 모호한 작업에는 디시전 모델이 부족하고, 대문맥 모드도 느리고 정확도가 떨어진다.
  • Jeeves 같은 하이브리드 디시전 모델은 불확실할 때 추론을 거친 뒤 판정하므로, 단순한 디시전 모델과 LLM 사이의 간극을 메울 수 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗