278조 파라미터 모델을 CPU에서 8GB로 돌린다

핵심 요약

• 중국의 Kimi K3 모델(278조 파라미터)을 C99로 순수 CPU 추론하는 프로젝트다.
• 1.56TB 체크포인트를 디스크에서 스트리밍하면서 최소 8.24GB 메모리로 작동한다.
• BLAS, 프레임워크, GPU 없이 176KB 엔진만으로 구현했으며, 포괄적인 테스트와 참고 구현이 함께 제공된다.
• 동일한 모델이 8GB 노트북에서는 토큰당 26.5초, 128GB+ 워크스테이션에서는 5.6초로 동작한다.
• 구조는 네 가지 감소 기법으로 이룬다: 전문가(experts)를 4비트로 미리 양자화, KDA 주의 메커니즘으로 메모리 비성장, MLA로 96개 헤드를 1개 잠상으로 축소, 트렁크 스트리밍으로 메모리를 가변 제어 가능하게 전환한다.
• 토큰 id가 정확히 동일함을 보장하기 위해 모든 행렬 곱셈 순서를 고정했고, PyTorch 참고 구현과 바이트 수준에서 검증한다.
• 체크포인트 다운로드는 1.56TB로 수시간 걸리고, 트렁크 패킹(93개 밀집층을 109GB 파일로 재구성)에 약 4분이 소요된다.
• 공식 Kimi K3 XTML 형식으로 대화 모드를 지원하며, 사용자 메시지와 추론 기록을 JSONL로 저장하고 재개할 수 있다.
• --incremental 플래그로 KV 캐시와 상태를 토큰 간 유지하면 O(T²)에서 O(T) 복잡도로 줄어든다.
• macOS(arm64)와 Windows(x86-64)도 지원되며, AVX2+FMA(x86-64) 또는 NEON(arm64)을 필요로 한다.
• 스트리밍 트렁크 없으면 전체 트렁크가 메모리에 상주하며(약 113.5GB), 모든 프리셋이 스트리밍을 가정한다.
• 더 큰 메모리는 속도만 올리고 출력은 절대 바뀌지 않는다(바이트 동일).