Redis 만든 개발자, 로컬에서 돌리는 LLM 엔진 공개
원제 From the creator of Redis; run LLM locally with ds4
125 포인트댓글 35

Key Point
가장 강력한 오픈 가중치 모델을 거대 클라우드 없이 자체 하드웨어에서 실행할 수 있게 되면서 AI 추론의 구조가 바뀐다.
핵심 요약
- Redis 개발자 안티레즈가 만든 DS4는 고성능 머신에서 DeepSeek V4, GLM 5.x, Qwen3.8 등 대규모 모델을 로컬에서 실행하는 C 기반 추론 엔진이다.
- 284억 파라미터 DeepSeek V4 Flash 같은 혼합 전문가 모델을 고메모리 Mac(Metal), NVIDIA(CUDA), AMD(ROCm) 환경에서 지원한다.
- 핵심 기술은 라우팅 전문가만 2비트로 압축하되 중요한 공유 경로는 정밀하게 유지하는 비대칭 양자화로, 모델을 고메모리 머신에서 실행 가능하게 만든다.
- KV 캐시를 SSD에 저장하고 프롬프트 해시로 재개하는 방식으로 긴 컨텍스트를 효율적으로 처리하며 재시작 시 전체 재계산을 피한다.
- 단일 엔진이 CLI, HTTP 로컬 API, 네이티브 에이전트 세 가지 인터페이스를 제공하며 같은 모델 상태와 캐시를 공유한다.
- M5 Max 128GB에서 2,048 토큰 컨텍스트 기준 생성 속도는 39.4 토큰/초, 65,536 토큰 컨텍스트에서는 27.6 토큰/초를 기록한다.
- DGX Spark 128GB에서는 2,048 토큰 컨텍스트에서 생성 속도 18.1 토큰/초, 65,536 토큰 컨텍스트에서는 13.8 토큰/초다.
- 32GB에서 512GB까지 다양한 메모리 구성에 대응하며, 128GB 이상에서 V4 Q2와 V4.1 Q2(SSD 스트리밍)가 권장 사양이다.
- MIT 라이선스로 공개되며 GitHub에서 가져온 후 플랫폼별로 빌드하고 CLI 또는 서버 모드로 실행할 수 있다.