DeepSeek, 자체 추론 엔진 오픈소스로 공개
원제 DeepSeek just open-sourced its inference engine
620 포인트댓글 215
Key Point
딥시크의 대규모 서빙에 검증된 고성능 추론 엔진이 오픈소스화되어, LLM 배포를 다루는 개발자들이 프로덕션 수준의 최적화 기법을 직접 활용할 수 있게 되었다.
핵심 요약
- 딥시크가 자사 대규모 서비스에 쓰이는 고성능 추론 프레임워크 DeepInfer를 오픈소스로 공개했다.
- 지원 모델은 DeepSeek-V4.1-Flash이며, FlashMLA, DeepGEMM, DeepEP 등 최적화된 커널과 MoE 전문가 병렬화, 비동기 스케줄링, 배치 불변 추론 등 대규모 서빙에 필요한 핵심 기능을 포함한다.
- DSpark와 신뢰도 기반 검증으로 드래프트 토큰을 통해 디코딩을 가속화하며, 설정 파라미터로 최대 드래프트 길이(기본값 5)를 조절할 수 있다.
- 디코더 SWA 재생 기능은 경계 범위 내의 접미사만 재생하여 디코더 프리필 작업을 감소시킨다.
- 배치 불변 추론을 활성화하면 서로 다른 배치 구성에서도 모델 결과가 동일하게 유지되며 NVIDIA만 지원한다.
- 결정적 샘플링으로는 동일한 입력 토큰과 샘플링 파라미터에 대해 같은 결과를 생성할 수 있고, 정규식·JSON 스키마·EBNF 문법으로 생성을 제약하는 구조화된 출력도 지원한다.
- NVIDIA SM100 GPU와 화웨이 Ascend 950 NPU에서 지원하며, Linux GCC 13.0 이상, Python 3.12, CUDA 13(NVIDIA) 또는 CANN 9.2(Ascend)가 필요하다.
- KV 캐시 시스템, 프리필/디코드 분리, 데이터 병렬 복제본 간 로드 밸런싱 등은 이번 릴리스에 포함되지 않는다.
- Apache License 2.0으로 공개되며, vLLM을 기반으로 제작되었고 SGLang과 TensorRT-LLM에서도 영감을 받았다.