LLM 에이전트 처리, 도구 응답 대기를 고려한 스케줄링으로 성능 향상
원제 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
추천 18댓글 4
Key Point
LLM 에이전트의 성능 병목이 어디에 있는지, 그리고 도구 응답 준비 상태를 고려한 스케줄링이 왜 기존 방식보다 효과적인지를 보여주는 구체적인 개선 수치를 제시한다.
핵심 요약
- LLM 기반 에이전트 서빙은 GPU 클러스터에서의 모델 추론과 분산된 CPU의 외부 도구 실행을 반복하며 진행된다.
- 기존 시스템들은 외부 도구의 응답 준비 상태를 성능 평가에 반영하지 않아 자원을 낭비하고, 휴리스틱 전략으로 GPU 준입과 배치를 결정해 스케줄링 최적화가 부족했다.
- TAO는 도구 응답 준비 상태, 노드별 캐시 크레딧(시간 감쇠 적용), 토큰 차지 공간을 결합한 가치 인터페이스를 제공한다.
- 동적 프로그래밍으로 용량 제약 조건하에서 대기 중인 세션을 함께 선택하고 배치한다.
- 12가지 모델-워크로드-동시성 조합에서 TAO는 기존 최고 성능 베이스라인 대비 지연시간을 최대 26.8%, 평균 첫 토큰 응답 시간(TTFT)을 최대 36.3%, 디코드 처리량을 최대 29.5% 향상시켰다.