Hacker NewsAI · 머신러닝오늘의 주요

GLM-5.3을 두 DGX 스테이션에서 vLLM으로 607.8 토큰/초 처리

원제 Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

121 포인트댓글 64
Key Point

대규모 언어 모델을 여러 머신에 걸쳐 서빙하는 실전 구현 예시로, vLLM의 분산 배포와 성능 최적화 기법을 상세히 보여준다.

핵심 요약

  • GLM-5.3 NVFP4는 753억 개 파라미터(토큰당 400억 활성화)의 양자화된 MoE 모델로, 약 464GB의 GPU 메모리가 필요해 단일 GB300 GPU의 252GB HBM3e를 초과한다.
  • ConnectX-8 RDMA로 연결된 두 NVIDIA DGX 스테이션이 텐서 병렬화(TP=2)를 통해 하나의 OpenAI 호환 엔드포인트로 모델을 서빙하며, 각 GPU가 대략 절반의 가중치를 보유하고 계산한다.
  • vLLM은 멀티토큰 예측, FP8 KV-캐시 저장, 프리픽스 캐싱을 활성화해 동시 부하에서 처리량을 최대화한다.
  • SPEED-Bench 코딩 데이터셋에서 AIPerf 벤치마크 결과, 동시성 16에서 전체 출력 처리량이 607.8 토큰/초로 정점을 이루었다가 동시성 32에서 385.0 토큰/초로 떨어지며 평균 요청 지연시간은 453.5초였다.
  • 튜토리얼은 두 스테이션을 연결하고 검증하는 단계부터 시작하며, vLLM 분산 서비스 배포, 요청 전송, 동시 부하 측정 과정을 포함한다.
  • 텐서 병렬화는 모델의 텐서를 두 GB300 GPU에 분산시키며 모든 요청이 두 스테이션에서 계산되고 스테이션 A가 답변을 반환한다.
  • 각 스테이션은 전체 464GB 체크포인트의 로컬 복사본을 보유하고 vLLM이 로드 시 GPU 간 가중치를 분할한다.
  • 또한 다중 토큰 예측 방식으로 스펙(speculative decoding)을 구현하며, MTP 계층이 단계별 4개 토큰을 초안 작성하고 vLLM이 전체 모델로 검증한 후 수락한다.
  • 구성 가능한 동시성에서 처리량 감소는 KV 캐시 공유로 인한 것이며, 더 긴 프롬프트나 더 많은 사용자는 더 많은 캐시를 필요로 한다.
  • GLM-5.3은 저/고/최대 추론 노력 옵션을 지원하며, 도구 호출 활성화로 OpenAI 도구 API를 사용하는 에이전트 프레임워크가 동일 엔드포인트를 호출할 수 있다.
  • 프리픽스 캐싱 활성화 시 결과는 Table 2의 참조 측정값과 일치하며, 동시성 1에서 107.4 토큰/초, 동시성 8에서 386.0 토큰/초였다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗