로컬에서 의사결정 AI 모델 실행하는 Ollaya 출시
Key Point
자신의 서버에서 개인 데이터를 의사결정 AI로 분석할 때 기존 클라우드 API 대비 10-20배 빠르면서도 토큰 비용이 없으므로, 고객지원·분류·라우팅 등 대량의 의사결정이 필요한 시스템 구축에 큰 변화를 가져올 수 있다.
핵심 요약
- Ollaya는 텍스트나 JSON 데이터에 대한 타입 안전 질문에 밀리초 단위로 답하는 의사결정 모델을 로컬에서 실행하는 오픈소스 도구다.
- 토큰 하나씩 생성하지 않고 단일 포워드 패스로 답을 반환해 RTX 4090에서 5개 질문 처리에 8-10ms 정도만 소요되며, 호스팅 API(TypeSafe Jev)의 236-276ms보다 훨씬 빠르다.
- TypeSafe의 API 스펙과 완벽히 호환되므로 공식 TypeSafe Python SDK 0.7.1을 수정 없이 로컬 서버에 연결할 수 있다.