토큰 단위 LLM 라우팅을 위한 고효율 서빙 시스템
원제 TokenRouter: Efficient Serving System for Token-Level LLM Routing
추천 129댓글 2
Key Point
토큰 단위로 여러 모델을 동적으로 선택하는 고급 라우팅 기법을 실제로 빠르게 처리할 수 있는 시스템이 처음 등장했기 때문이다.
핵심 요약
- LLM 라우팅은 추론 작업을 여러 모델에 분산해 비용과 품질 사이의 최적점을 개선하는 기술로, 기존 시스템은 쿼리 단위의 굵은 라우팅만 지원했다.
- 최근 연구는 토큰 단위의 세밀한 라우팅이 효율성과 품질에서 큰 이득을 줄 수 있음을 보였지만, 기존 LLM 서빙 시스템은 단일 모델 가정 위에 설계되어 토큰 단위 라우팅에서 심각한 동기화 문제와 배치 지연을 겪는다.
- TokenRouter는 요청 중심 프로그래밍, 모델 중심 실행 원칙을 따르며, 개발자는 단일 요청 관점에서 라우팅 로직을 기술하고 런타임이 각 LLM마다 서브서버를 실행해 비동기로 요청을 분배한다.
- 각 서브서버는 지연 배칭 스케줄러를 사용하며, 그 최적 하이퍼파라미터는 시스템의 수학적 처리량 모델에서 도출된다.
- TokenRouter는 다양한 라우팅 알고리즘, 워크로드, 모델 조합에서 기존 시스템 대비 2.01배~64.15배 높은 디코딩 처리량을 달성한다.
- 소스 코드는 GitHub에서 공개되어 있다.