에이전트 워크로드에 최적화된 LLM 서빙 프레임워크 공개
원제 Evolving Infra: Agent-Adaptive LLM Serving at Scale
추천 12댓글 3
Key Point
에이전트 기반 LLM 애플리케이션이 확산되는 가운데, 기존 서빙 시스템의 구조적 한계를 직접 해결하고 프로덕션 환경에서 NVIDIA 표준 프레임워크를 크게 앞도는 성능을 입증한 기술이다.
핵심 요약
- 에이전트 기반 워크로드는 LLM 추론 수요의 주요 원인이며, 기존 Prefill-Decode 분산 서빙 시스템은 런타임 계산 할당과 KV 캐시 관리의 유연성이 부족하다.
- 현 방식은 거친 신호에만 의존하면서 다양하고 동적인 에이전트 워크로드를 제대로 포착하지 못해, Prefill과 Decode 노드 간 부하 불균형과 에이전트가 재사용할 KV 캐시 제거 문제를 야기한다.
- Evolving Infra는 런타임 중 에이전트 워크로드에 맞춰 계산 할당을 조정하고, 에이전트 컨텍스트 관리 신호에 따라 KV 캐시를 관리하는 프레임워크이다.
- 계산 할당과 KV 캐시 관리를 분리하여 노드가 Prefill과 Decode 사이를 효율적으로 전환할 수 있도록 설계했다.
- 온라인 플래너가 워크로드 구성에 맞춰 PD 분할을 최적화하고, 에이전트 인식 분산 KV 매니저가 에이전트 컨텍스트 관리 신호를 바탕으로 캐시 제거와 이전을 관리한다.
- 코딩, 수학, 컴퓨터 사용 작업에서 GLM-5.2와 Kimi K2.6 모델로 최대 256개 GPU H100에서 테스트한 결과, NVIDIA 프로덕션 프레임워크인 Dynamo 대비 평균 엔드투엔드 요청 지연시간을 최대 4.1배, P95 TTFT를 최대 14배 감소시켰다.