incoai/splash
Apple 실리콘용 로컬 AI 추론 엔진 Splash 출시
원제 incoai/splash
스타 2,597당일 +116C++
Key Point
Apple 맥 사용자가 외부 클라우드 없이 고성능 LLM을 로컬에서 돌릴 수 있는 선택지가 생겼으며, 기존 llama.cpp 대비 큰 폭의 속도 향상으로 실용성이 크게 높아졌다.
핵심 요약
- Splash는 M3 이상 Apple 실리콘에서 Qwen·Ornith·Flint 등 27B~122B 모델을 로컬 추론하는 C++ 기반 엔진이다.
- DFlash2 추측적 디코딩, Metal 커널 최적화, 자동 메모리 계획을 조합해 동작하며, 비전·도구 호출·내장 채팅 UI를 지원한다.
- OpenAI/Anthropic 호환 API로 스트리밍, 도구 호출, JSON Schema 출력을 제공하고, 프리필 캐시 재사용으로 동시 요청을 자동 배칭한다.
- Splash는 llama.cpp 대비 Qwen 27B에서 4.5~5.3배, 35B에서 2.5~3.2배 빠른 디코딩 속도를 달성한다.
- GGUF(1~8비트)와 MLX 4비트 형식, NVFP4 체크포인트를 지원하며, 24GB Mac에서도 소형 모델을 실행할 수 있다.
- 메모리·컨텍스트·KV 캐시 형식·SSD 캐시·ANE 활용 등을 `--max-memory 28G`, `--max-context 100K` 같은 옵션으로 세밀하게 제어할 수 있다.
- M5 Pro(20코어 GPU, 64GB)에서 Qwen3.8-Flash-Next의 디코드 속도는 95 tok/s, 32K 프리필은 1,312 tok/s를 기록했다.
- 로컬 GGUF 파일이나 디렉토리를 직접 지정하면 Hub 접촉 없이 모델을 서빙할 수 있고, 호환 Draft 모델을 함께 명시하거나 패밀리 기본값을 사용할 수 있다.
- macOS 26.4 이상에서 DMG 앱으로 설치하거나 Homebrew 명령줄로 시작하며, 첫 실행 시 모델을 다운로드한 후 `127.0.0.1:8000`에서 서빙한다.
- 기본값으로 로컬호스트만 접근 가능하지만 LAN 접근·인증·CORS 설정은 `--help`와 설명서를 통해 활성화할 수 있다.
- 예측값이 llama.cpp와 99.3~99.45%(27B) 또는 97.83~98.14%(35B-A3B) 일치하며, BF16 KV 캐시와 ANE 비활성화 상태에서 측정되었다.
- Apache-2.0 라이선스이고, GGUF 커널은 llama.cpp의 MIT 라이선스 코드를 포함하며 모델 가중치는 원본 라이선스를 따른다.
저장소 보기 ↗github.com