에이전틱 워크로드 최적화 LLM 추론 엔진 TokenSpeed 공개

핵심 요약

• LightSeek Foundation이 에이전틱 워크로드에 최적화된 LLM 추론 엔진 TokenSpeed를 오픈소스로 공개했다.
• 기존 엔진과 달리 제어 평면(C++)과 실행 평면(Python)을 분리한 아키텍처를 채택했으며, 제어 평면은 유한 상태 머신으로 구현되어 컴파일 타임에 KV 캐시 리소스 안전성을 보장한다.
• 커널은 플러그인 가능한 계층형 시스템으로 설계되었으며, Blackwell GPU에서 가장 빠른 MLA(Multi-head Latent Attention) 구현 중 하나를 포함한다.
• PyTorch Foundation이 TokenSpeed를 PyTorch 에코시스템 랜드스케이프에 포함시키며 아키텍처 차별성을 공식 인정했다.
• NVIDIA와 AMD 같은 하드웨어 벤더들의 지원을 받는 비영리 재단 기반으로 운영되어 상업 기업에 종속되지 않는다.
• 최근 성과로 Qwen3.8-Flash-Next를 GB300에서 사용자당 685 토큰/초로 처리하고, Qwen3.5-397B에서 580 토큰/초(agentic)의 성능을 달성했다.
• Kimi K3, GLM 5.3 Flash, TML Inkling 등 최신 모델들의 Day 0 배포를 지원하며, AMD MI355X와 NVIDIA Vera Rubin 같은 신형 가속기에 최적화된 버전을 출시했다.
• 토큰 생성 처리량(TPS)과 지연시간에서 TensorRT-LLM과 경쟁력 있는 성능을 보이며 에이전틱 워크로드의 Pareto 곡선에서 우위를 점한다.
• AsyncLLM 엔트리포인트를 통해 CPU 측 요청 처리 오버헤드를 최소화하고, 문서와 모델 레시피를 통해 즉시 시작할 수 있도록 구성했다.