GitHub TrendingAI · 머신러닝오늘의 주요

incoai/splash

Apple 실리콘용 로컬 AI 추론 엔진 Splash 출시

원제 incoai/splash

스타 2,597당일 +116C++
Key Point

Apple 맥 사용자가 외부 클라우드 없이 고성능 LLM을 로컬에서 돌릴 수 있는 선택지가 생겼으며, 기존 llama.cpp 대비 큰 폭의 속도 향상으로 실용성이 크게 높아졌다.

핵심 요약

  • Splash는 M3 이상 Apple 실리콘에서 Qwen·Ornith·Flint 등 27B~122B 모델을 로컬 추론하는 C++ 기반 엔진이다.
  • DFlash2 추측적 디코딩, Metal 커널 최적화, 자동 메모리 계획을 조합해 동작하며, 비전·도구 호출·내장 채팅 UI를 지원한다.
  • OpenAI/Anthropic 호환 API로 스트리밍, 도구 호출, JSON Schema 출력을 제공하고, 프리필 캐시 재사용으로 동시 요청을 자동 배칭한다.
  • Splash는 llama.cpp 대비 Qwen 27B에서 4.5~5.3배, 35B에서 2.5~3.2배 빠른 디코딩 속도를 달성한다.
  • GGUF(1~8비트)와 MLX 4비트 형식, NVFP4 체크포인트를 지원하며, 24GB Mac에서도 소형 모델을 실행할 수 있다.
  • 메모리·컨텍스트·KV 캐시 형식·SSD 캐시·ANE 활용 등을 `--max-memory 28G`, `--max-context 100K` 같은 옵션으로 세밀하게 제어할 수 있다.
  • M5 Pro(20코어 GPU, 64GB)에서 Qwen3.8-Flash-Next의 디코드 속도는 95 tok/s, 32K 프리필은 1,312 tok/s를 기록했다.
  • 로컬 GGUF 파일이나 디렉토리를 직접 지정하면 Hub 접촉 없이 모델을 서빙할 수 있고, 호환 Draft 모델을 함께 명시하거나 패밀리 기본값을 사용할 수 있다.
  • macOS 26.4 이상에서 DMG 앱으로 설치하거나 Homebrew 명령줄로 시작하며, 첫 실행 시 모델을 다운로드한 후 `127.0.0.1:8000`에서 서빙한다.
  • 기본값으로 로컬호스트만 접근 가능하지만 LAN 접근·인증·CORS 설정은 `--help`와 설명서를 통해 활성화할 수 있다.
  • 예측값이 llama.cpp와 99.3~99.45%(27B) 또는 97.83~98.14%(35B-A3B) 일치하며, BF16 KV 캐시와 ANE 비활성화 상태에서 측정되었다.
  • Apache-2.0 라이선스이고, GGUF 커널은 llama.cpp의 MIT 라이선스 코드를 포함하며 모델 가중치는 원본 라이선스를 따른다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗