로컬 AI 추론을 위한 고성능 엔진 Uzu 오픈소스화

핵심 요약

• Rust로 개발된 고성능 AI 추론 엔진 Uzu를 공개했으며, 지연 없이 앱에 직접 AI 모델을 배포할 수 있다.
• 데이터 프라이버시를 완전히 보장하고 추론 비용이 발생하지 않으며, Metal·WebGPU·CPU 백엔드를 지원한다.
• Python, Swift, TypeScript, Rust 등 4개 언어에 바인딩을 제공하고, 모델 다운로드부터 추론까지 자동으로 처리한다.
• 통합 모델 설정으로 새로운 모델 지원을 쉽게 추가할 수 있고, 계산 추적 기능으로 정확성을 검증할 수 있다.
• Apple 기기에서 통합 메모리(unified memory)를 활용하며, 광범위한 모델을 지원한다.
• 대화형 CLI, OpenAI 호환 HTTP 서버, 구조화된 출력·도구 호출 등 기능을 포함한다.
• aarch64-apple-darwin, x86_64-apple-darwin, aarch64-apple-ios 등 여러 플랫폼을 지원하며, Windows·Linux·WebAssembly 지원은 진행 중이다.
• 모델 가져오기 도구 lalamo를 통해 자신의 모델을 Uzu 형식으로 변환할 수 있다.
• MIT 라이선스 하에 배포되며, Discord와 이메일로 지원을 받을 수 있다.