로컬에서 의사결정 AI 모델 실행하는 Ollaya 출시
원제 Ollaya – Ollama for open-source, Jev-style decision models
189 포인트댓글 49
Key Point
자신의 서버에서 개인 데이터를 의사결정 AI로 분석할 때 기존 클라우드 API 대비 10-20배 빠르면서도 토큰 비용이 없으므로, 고객지원·분류·라우팅 등 대량의 의사결정이 필요한 시스템 구축에 큰 변화를 가져올 수 있다.
핵심 요약
- Ollaya는 텍스트나 JSON 데이터에 대한 타입 안전 질문에 밀리초 단위로 답하는 의사결정 모델을 로컬에서 실행하는 오픈소스 도구다.
- 토큰 하나씩 생성하지 않고 단일 포워드 패스로 답을 반환해 RTX 4090에서 5개 질문 처리에 8-10ms 정도만 소요되며, 호스팅 API(TypeSafe Jev)의 236-276ms보다 훨씬 빠르다.
- TypeSafe의 API 스펙과 완벽히 호환되므로 공식 TypeSafe Python SDK 0.7.1을 수정 없이 로컬 서버에 연결할 수 있다.
- Convai Innovations의 Laya(영어·100+ 언어), Mapika의 Decider(Qwen 기반), Moritz Laurer의 NLI, Knowledgator의 GLIClass 등 오픈 가중치 모델들을 지원한다.
- ONNX Runtime으로 CPU 또는 NVIDIA GPU에서 실행되며, 기본적으로 localhost(127.0.0.1)에만 노출되어 데이터가 자신의 기계에만 머물러 있다.
- 오픈소스(Apache-2.0)이며 토큰당 요금이 없고, macOS·Windows·Linux·Docker 등 다양한 환경에서 실행 가능하며 단 한 줄의 명령어로 설치할 수 있다.
- Laya의 보정 오차(ECE)는 0.081로, TypeSafe Jev의 0.246보다 훨씬 낮아 신뢰도 높은 확률을 제공한다.