284B 대형 AI 모델, GPU 없이 64GB RAM에서 실행하기
원제 Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
106 포인트댓글 34
Key Point
GPU 없이 대형 언어 모델을 기존 CPU 워크스테이션에서 실행할 수 있게 되면, 엔터프라이즈 AI 인프라의 진입 장벽이 크게 낮아진다.
핵심 요약
- llama-modchip v2.4.0은 GPU 없이 순수 CPU만으로 284B 파라미터의 DeepSeek-V4-Flash 모델을 64GB RAM에서 실행할 수 있는 오픈소스 프로젝트다.
- 표준 방식으로는 DeepSeek-V4-Flash가 76.87GB가 필요해 64GB 시스템에서 메모리 부족 오류가 나지만, SwiGLU-H2 2차 헤시안 압축과 Fractal-64 양자화(3.75 bits/weight)를 조합하면 56.56GB로 축소할 수 있다.
- 256K 토큰 컨텍스트에서 프리필(prefill) 성능은 43.16~44.36 토큰/초, 순수 CPU 디코딩은 9.06~10.74 토큰/초, Stockfish-PVS 추측 디코딩 적용 시 11.5~14.7 토큰/초를 달성한다.
- 30B Nemotron 모델은 16~32GB RAM에서 25~60.4 토큰/초 속도로 실행되며, Stockfish-PVS v2 드래프터(1.64MB)를 사용해 96.4% 토큰 수용률로 추측 디코딩을 가능하게 한다.
- "Zero-API Claude Code" 기능은 /dev/shm KV 캐시 핫 리스토어를 통해 Claude Code 40개 도구의 프롬프트 재평가 오버헤드를 45초에서 13.1~32.6ms로 단축한다.
- 기술 스택으로 AVX-512 SIMD(ZMM 레지스터) 4단계 캐시 타일링, L3 캐시 격리(HARPCache), 다중 열 프리필 타일링(+77% 성능) 등 마이크로아키텍처 최적화를 구현했다.
- AMD Zen 5 16코어 시스템의 벤치마크에서 Nemotron-30B는 최대 60.4 토큰/초, Threadripper 64코어는 111.62 토큰/초를 기록했으며, Windows 10/11 하이브리드 설정(CPU+16GB GPU)에서도 80.8 토큰/초를 달성한다.
- 사용자 정의 GGML 타입(GGML_TYPE_Q2_0=40) 때문에 표준 llama.cpp, Ollama, LM Studio에서는 호환되지 않으며, 프로젝트 제공 바이너리를 사용해야 한다.
- 리눅스/macOS는 ./modchip 명령어로 자동 설치되고, Windows는 AVVIA_MODCHIP.bat 클릭으로 CPU 코어·RAM·GPU를 자동 감지해 최적 할당을 수행한다.
- Apple M4 Pro(24GB 통합 메모리), AWS Graviton3(32MB L3), AMD EPYC(128GB DDR4) 등 다양한 프로세서에서 검증되었으며, 커뮤니티 벤치마크 리더보드에 기여할 수 있다.
- 프로젝트는 L2-Quadrature MoE 프루닝, 정확한 SVD 분해(wo_b * wo_a, 99.82% 코사인 유사도), O(1) 롤백 수정 등 압축 품질 보증 기법을 구현했다.
- 기업 고객을 위해 커스텀 SwiGLU-H2 + Fractal-64 모델 트랜스코딩, 온프레미스 배포, CPU/클라우드 실리콘 제조사와의 파트너십 지원을 제공한다.
- 깃허브 저장소에 전체 수학 증명, 연산자 레이턴시 분석, 모델별 최적화 가이드(Nemotron, DeepSeek-V4, 하드웨어)를 문서화했으며, 평가 벤치마크(100점 품질 게이트, 도구 호출, 코딩, 8.5K 니들)도 제공한다.