쿼리의 의미를 먼저 파악해 최적 LLM 선택
원제 SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing
추천 10댓글 2
Key Point
LLM 라우팅 결정에 의미론적 근거를 명확히 도입해 해석 가능성을 높이면서 성능을 기존 방식 대비 3% 이상 향상시킨 새로운 접근법이기 때문이다.
핵심 요약
- 기존 LLM 라우팅 방식은 쿼리 임베딩이나 모델 표현에서 직접 결정을 내려 왔으나, 쿼리가 실제로 무엇을 필요로 하는지 명확히 나타내지 못했다.
- SeLMRoute는 의미론적 증거 추출, 모델 성능 학습, 배포 목표 적용을 분리하는 라우팅 프레임워크를 제시한다.
- 의사결정 모델이 쿼리의 추론 요구도, 외부 지식 사용 여부 등 해석 가능한 질문들을 먼저 확률 분포로 평가한다.
- 이 확률론적 의미 상태를 가벼운 지도 라우터가 활용해 각 후보 모델의 성능을 추정한다.
- 라우팅 목표는 성능 추정 이후 적용되어, 동일한 의미 상태로 성능 중심과 비용 절감 결정을 모두 지원한다.
- LLMRouterBench 15개 데이터셋·20개 모델·11,481개 쿼리 평가에서 SeLMRoute는 72.08% pm 0.45 정확도를 달성했고, 5겹 교차검증은 72.64%에 도달했으며 최강 고정 모델 대비 3.41% 향상했다.
- 의미·밀집·어휘·도메인 수준 표현 중 가장 높은 평균 성능을 기록했다.
- 13개 모델 성능-비용 설정에서 모든 5개 그룹 분할에서 개선되었으며 평균 PerfGain은 2.66%였다.
- 코드는 GitHub에서 공개되어 있다.