LocalAI: 고사양 GPU 없이 모든 AI 모델을 로컬에서 실행

핵심 요약

• LocalAI는 GPU 없이도 LLM, 비전, 음성, 이미지, 비디오 모델을 어떤 하드웨어에서든 실행할 수 있는 오픈소스 AI 엔진이다.
• 작은 코어 구조로 설계되어, 필요한 백엔드(llama.cpp, vLLM, whisper.cpp, Stable Diffusion, MLX 등)만 개별 컨테이너로 받아 필요 없는 것은 설치하지 않는다.
• OpenAI, Anthropic, ElevenLabs API와 호환되며 하나의 API 뒤에서 모든 모달리티를 지원한다.
• NVIDIA, AMD, Intel, Apple Silicon, Vulkan 등 다양한 GPU와 CPU 전용 환경을 모두 지원한다.
• API 키 인증, 사용자 할당량, 역할 기반 접근 제어 등 멀티 사용자 기능과 자동 에이전트, 도구 사용, RAG, MCP, 스킬 등 내장 AI 에이전트 기능이 있다.
• vllm.cpp(C++20으로 재구현한 vLLM), parakeet.cpp(NVIDIA NeMo ASR 포트), moss-transcribe.cpp(음성 전사 및 화자 분리), moss-tts.cpp, magpie-tts.cpp, voice-detect.cpp(화자 인식), face-detect.cpp(얼굴 검출 및 인식) 등 LocalAI 팀이 개발한 네이티브 C/C++/GGML 백엔드들을 포함한다.
• 60개 이상의 백엔드를 지원하며 CUDA 12/13, ROCm, oneAPI/SYCL, Metal, Vulkan, L4T 등 하드웨어 가속이 가능하다.
• 최신 버전(4.11.0, 2026년 10월)에서 음성 신호 기반 장면 인식, 화자 라벨링, 음성 감지, Decisions API, 모델 페일오버 체인, 서명된 OCI 갤러리, Kimodo 텍스트-애니메이션 기능을 추가했다.
• 분산 모드에서 PostgreSQL과 NATS를 사용한 수평 확장, prefix-cache 인식 라우팅, 요청 라우터, ds4 레이어 분할 분산 추론, NATS JWT 인증 및 TLS/mTLS를 지원한다.
• 웹 기반 UI, 파이프라인 편집기, 세분화 학습(TRL 기반), 모델 컨텍스트 프로토콜(MCP), WebRTC 실시간 음성, 종료-종료 음성 인식을 지원한다.
• MIT 라이선스로 공개되며 Ettore Di Giacinto가 원저자이고 LocalAI 팀에서 유지보수한다.