로컬에서 빠르게 LLM 실행하는 llama.cpp, 고성능 추론 엔진

핵심 요약

• llama.cpp는 C/C++로 구현된 경량 LLM·VLM 추론 엔진으로, 별도 의존성 없이 다양한 하드웨어에서 최적화된 성능을 제공한다.
• Apple Silicon의 Metal, ARM NEON, x86의 AVX/AVX512, RISC-V의 RVV 등 각 플랫폼별 명령어세트를 지원해 효율성을 극대화했다.
• 1.5~8비트 정수 양자화를 통해 추론 속도를 높이고 메모리 사용량을 줄일 수 있으며, NVIDIA GPU(CUDA), AMD GPU(HIP), Intel NPU 등 14개 이상의 백엔드를 지원한다.
• 총 VRAM 용량을 초과하는 큰 모델도 CPU·GPU 하이브리드 방식으로 부분 가속할 수 있고, Docker·웹 UI·CLI 도구로 빠르게 시작할 수 있다.