LLM 추론 최적화 라이브러리 vLLM, 200+ 모델 지원

핵심 요약

• vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다.
• PagedAttention을 통해 메모리를 효율적으로 관리하고 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 높은 처리량을 제공한다.
• FP8, INT4, GPTQ/AWQ, GGUF 등 다양한 양자화 방식과 FlashAttention, FlashInfer 같은 최적화 커널을 지원한다.
• 추론 최적화를 위해 스펙큘래티브 디코딩(n-gram, EAGLE, DFlash)과 torch.compile을 활용한 자동 커널 생성을 제공한다.
• Llama, Qwen, Gemma 등 디코더 전용 모델부터 Mixtral 같은 MoE, Mamba 같은 상태공간 모델, LLaVA 같은 멀티모달 모델까지 200+ 모델을 지원한다.
• 텐서·파이프라인·데이터·전문가·컨텍스트 병렬화로 분산 추론이 가능하며, 구조화된 출력 생성, 도구 호출 파싱을 제공한다.
• OpenAI 호환 API, Anthropic Messages API, gRPC를 지원하고 다중 LoRA 최적화를 구현했다.
• NVIDIA·AMD·Intel GPU 외에도 Google TPU, Intel Gaudi, Apple Silicon 등 다양한 하드웨어 플러그인을 지원한다.