LLM 라우팅을 위한 기초 모델 'RouteFM' 등장
원제 Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing
추천 13댓글 2
Key Point
LLM 라우팅이 환경 변화마다 재훈련이 필요한 한계를 극복하고 범용 기초 모델로 통합되면, 실제 배포에서 모델 선택의 유연성과 효율성이 크게 높아질 수 있다.
핵심 요약
- 대규모언어모델(LLM) 라우팅은 여러 후보 모델 중 각 쿼리에 가장 적합한 모델을 선택해 추론의 품질-효율 트레이드오프를 개선하는 기술이다.
- 기존 라우터는 특정 쿼리 워크로드와 후보 모델풀에 최적화되며, 라우팅 환경이 바뀌면 추가 감독이나 재훈련이 필요했다.
- 연구팀은 LLM 라우팅을 기초 모델 관점에서 접근하는 RouteFM을 제시했으며, 모델의 고정된 정체성에 묶이지 않고 익명의 후보 모델을 행동 맥락으로 특성화한다.
- RouteFM은 동작 행동으로부터 모델 성능을 추론하고, 에피소드 사전학습을 통해 다양한 라우팅 환경에서 배운 능력을 재사용할 수 있다.
- 고정된 라우터가 맥락만으로 새로운 환경에 적응되며, 도메인·모달리티·후보 모델풀·컨텍스트 버짓 변화에 걸쳐 전이 학습이 가능함을 실증했다.
- 사전학습에서 제외된 MMR-Bench에서 RouteFM은 가장 강력한 기준 모델을 후보당 8개 관찰값만으로 2.23 품질 포인트 상회했다.
- 이는 LLM 라우팅을 반복적인 로컬 최적화에서 '한 번 학습하면 어디든 라우팅' 패러다임으로 전환할 수 있음을 시사한다.