Redis 만든 개발자, 로컬에서 돌리는 LLM 엔진 공개
원제 From the creator of Redis; run LLM locally with ds4
125 포인트댓글 35
Key Point
Redis 개발자의 로컬 LLM 엔진으로, 대규모 모델을 개인 머신에서 완전히 제어하며 실행할 수 있는 기술 경로를 제시해 오픈소스 AI 스택의 선택지를 확대한다.
핵심 요약
- Redis 창시자 안티레즈가 개발한 DwarfStar 4(DS4)는 고용량 맥, NVIDIA, AMD 머신에서 대규모 AI 모델을 로컬로 실행하는 C 기반 추론 엔진이다.
- DeepSeek V4, V4.1 Flash, GLM 5.x, Qwen 3.8 Flash 등을 지원하며 텍스트·비전 모델, 로컬 API, CLI, 네이티브 에이전트를 제공한다.
- 핵심 기술은 라우팅된 전문가 모델의 비필수 부분을 2비트 양자화로 압축하면서 중요한 경로는 정밀도를 유지하는 비대칭 양자화다.
- KV 캐시를 SSD에 저장해 장문 프롬프트를 재사용할 수 있고, 모델 상태를 공유하는 CLI·API 서버·에이전트 세 인터페이스를 제공한다.
- M5 Max 128GB에서 2K 컨텍스트 기준 생성 속도 39.4T/s, 프리필 速度 790.2T/s를 기록했고, 65K 컨텍스트에서도 27.6T/s를 유지한다.
- 32~512GB 메모리 머신에서 V4 Q2 기준선부터 지원하며, 128GB 이상에서는 GLM·Qwen 같은 다른 모델도 실행 가능하다.
- MIT 라이선스 오픈소스로 GitHub에 공개되었으며, MacOS Metal, CUDA, ROCm 백엔드를 지원하고 로컬 추론 및 에이전트 세션을 모두 자신의 환경에서 실행할 수 있다.