Hugging Face 논문AI · 머신러닝

프롬프트 특성 파악해 LLM 추론 비용 최적화하는 라우팅 기법

원제 Ensemble Routing for Prompt-Adaptive Cost-Aware LLM Inference

추천 16댓글 3Saul Urso, Emanuele Carlini, Patrizio Dazzi 외
Key Point

프롬프트의 복잡도에 맞춰 LLM 앙상블을 동적으로 구성해 비용 대비 성능을 최적화하는 새로운 방식으로, API 기반 LLM 서비스의 경제성을 크게 개선할 수 있다.

핵심 요약

  • 대규모 언어 모델(LLM) 서비스는 다양한 요청에 대해 응답 품질과 추론 비용의 균형을 맞춰야 한다.
  • 기존 라우팅은 각 프롬프트마다 단일 모델을 선택하거나 고정된 앙상블 구성을 사용해 개별 요청에 적응하지 못했다.
  • 논문은 프롬프트 적응형 비용 인식 라우터 PISA와 앙상블 확장 버전인 PISA-E를 제시한다.
  • PISA는 소프트 클러스터 멤버십과 모델별 예측기를 결합해 각 모델의 능력을 추정한다.
  • PISA-E는 이 추정값을 바탕으로 앙상블 구성과 크기를 공동으로 선택하며, 재학습 없이 추론 시점에 비용-품질 선호도를 조정할 수 있다.
  • 처리 가능한 앙상블 성공 대리지표와 효율적인 후보 선택으로 앙상블 특화 학습 없이 확장을 달성했다.
  • 네 가지 LLM 라우팅 벤치마크에서 PISA는 분포 내·외 조건 모두에서 단일 모델 라우터 중 최고 비용-성능 하이퍼볼륨을 기록했다.
  • 품질 우선 설정에서 PISA-E는 분포 내 2.09%, 분포 외 2.87% 상위 경쟁사를 능가하는 작업 성능을 달성했다.
  • 낮은 비용 운영 지점에서도 PISA-E는 경쟁사 수준의 성능을 유지하면서 평균 추론 비용을 각각 36%, 25% 감축했다.
  • 프롬프트 적응형 능력 추정이 단일 모델과 선택적 앙상블 라우팅 모두에 효과적임을 입증했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗