Hugging Face 논문인프라 · 데브옵스

에이전트 워크로드에 최적화된 LLM 서빙 프레임워크 공개

원제 Evolving Infra: Agent-Adaptive LLM Serving at Scale

추천 12댓글 3Hao Kang, Weili Xu, Ziyang Li 외
Key Point

에이전트 기반 LLM 애플리케이션이 확산되는 가운데, 기존 서빙 시스템의 구조적 한계를 직접 해결하고 프로덕션 환경에서 NVIDIA 표준 프레임워크를 크게 앞도는 성능을 입증한 기술이다.

핵심 요약

  • 에이전트 기반 워크로드는 LLM 추론 수요의 주요 원인이며, 기존 Prefill-Decode 분산 서빙 시스템은 런타임 계산 할당과 KV 캐시 관리의 유연성이 부족하다.
  • 현 방식은 거친 신호에만 의존하면서 다양하고 동적인 에이전트 워크로드를 제대로 포착하지 못해, Prefill과 Decode 노드 간 부하 불균형과 에이전트가 재사용할 KV 캐시 제거 문제를 야기한다.
  • Evolving Infra는 런타임 중 에이전트 워크로드에 맞춰 계산 할당을 조정하고, 에이전트 컨텍스트 관리 신호에 따라 KV 캐시를 관리하는 프레임워크이다.
  • 계산 할당과 KV 캐시 관리를 분리하여 노드가 Prefill과 Decode 사이를 효율적으로 전환할 수 있도록 설계했다.
  • 온라인 플래너가 워크로드 구성에 맞춰 PD 분할을 최적화하고, 에이전트 인식 분산 KV 매니저가 에이전트 컨텍스트 관리 신호를 바탕으로 캐시 제거와 이전을 관리한다.
  • 코딩, 수학, 컴퓨터 사용 작업에서 GLM-5.2와 Kimi K2.6 모델로 최대 256개 GPU H100에서 테스트한 결과, NVIDIA 프로덕션 프레임워크인 Dynamo 대비 평균 엔드투엔드 요청 지연시간을 최대 4.1배, P95 TTFT를 최대 14배 감소시켰다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗