Hacker NewsAI · 머신러닝

세레브라스, GPU와 조합한 비집약형 추론으로 메가와트당 5배 처리량

원제 Cerebras Disaggregated Inference

104 포인트댓글 24
Key Point

대규모 AI 에이전트 서비스의 초고속 응답 요구에 맞추기 위해 GPU와 전문 칩을 결합하는 인프라 아키텍처로의 전환이 시작되었으며, 이는 LLM 추론 비용 구조의 근본적인 변화를 예고한다.

핵심 요약

  • 세레브라스가 GPU와 자사 웨이퍼 스케일 엔진을 조합하는 비집약형 추론(disaggregated inference) 솔루션을 프로덕션 단계에 배포했다.
  • 에이전트 애플리케이션 수요 증가로 전력 제약 환경에서 메가와트당 더 많은 추론 용량을 제공해야 하는 과제에 대응하기 위한 것이다.
  • 구조는 GPU가 프롬프트 처리(prefill) 담당, 세레브라스 시스템이 응답 생성(decode) 담당으로 분리한다.
  • 디코드 단계는 자기 회귀 방식으로 한 번에 한 토큰씩 생성하며 메모리 대역폭이 중요한데, 세레브라스의 SRAM 중심 아키텍처는 GB300 GPU 대비 SRAM 용량 350배, 메모리 대역폭 5,400배를 제공한다.
  • 세레브라스 클라우드 프로덕션 배포에서 AMD Instinct GPU가 프롬프트 처리, CS-3이 응답 생성을 담당할 때 CS-3 단독 구성 대비 메가와트당 처리량이 5배 향상되었으며 토큰 생성 속도 저하는 없었다.
  • 파트너를 위해 오픈소스 엔진(vLLM, SGLang) 기반 프리필 엔진, 세레브라스 디코드 엔진, KV 캐시 전송 소프트웨어를 포함한 완전 통합 소프트웨어 스택 또는 디코드 전용 SDK를 제공한다.
  • AWS, 파이어웍스 AI, 짐렛 랩스, 제너럴 컴퓨트 등 조기 접근 파트너들이 이미 솔루션을 활용 중이며, 2027년 말까지 수백 메가와트 규모로 확대 배포할 계획이다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗