LLM 라우팅의 경제성을 높이는 희소 감독 학습 기법
Key Point
LLM 라우팅 시스템의 총소유비용을 처음으로 정량화하며, 학습 비용과 서빙 절감을 동시에 고려하는 새로운 평가 방식이 산업 배포에 미치는 영향이 크기 때문이다.
핵심 요약
- LLM 라우팅은 쿼리를 적절한 모델에 할당해 서빙 비용을 줄이지만, 라우터 학습을 위해선 여러 후보 모델을 반복 실행해 피드백을 모아야 하므로 배포 전 상당한 감독 비용이 발생한다.
- 기존 연구는 서빙 단계 효율성에만 집중해, 그 절감액이 사전 학습 비용을 회수할 수 있는지 여부를 무시했다.
- 라우팅 품질은 모든 피드백을 수집하기 훨씬 전에 포화되는 경향을 보여, 밀집한 감독이 경제적으로 과도함을 시사한다.