당신의 하드웨어에 맞는 LLM 찾아주는 도구 llmfit
Key Point
로컬에서 LLM을 실행하려는 개발자들이 자신의 하드웨어 사양에 정확히 맞는 모델을 찾기 어려운 문제를 직접 해결해주는 도구이기 때문이다.
핵심 요약
- Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다.
- GGUF·AWQ·GPTQ·EXL2 등 다양한 양자화 포맷을 지원하며 메모리 사용량과 토큰 속도를 예측한다.
- 인터랙티브 TUI, 웹 대시보드, REST API 엔드포인트 중 선택해 사용할 수 있다.
- 벤치마킹 결과를 PR로 기여하면 다음 릴리스에 반영되어, 같은 하드웨어 사용자들이 검증된 수치를 얻을 수 있다.
- macOS, Linux, Windows 멀티플랫폼을 지원하고 Docker 이미지도 제공한다.
저장소 보기 ↗github.com