온디바이스 AI 모델 플랫폼 Desert Ant Labs 출범
Key Point
온디바이스 AI의 경제성이 바뀌고 있다. 클라우드 추론 비용이 없으면 개발자들은 모든 사용자 입력마다 모델을 실행할 수 있게 되고, 기존 클라우드 API 중심의 제품 설계 방식이 근본적으로 흔들린다.
핵심 요약
- 유럽 AI 스타트업 Desert Ant Labs가 스마트폰·태블릿에서 직접 실행되는 경량 전문화 모델 18개를 공개했다.
- 음성인식(Voz), 오디오 품질 개선(Clear), 개인정보 마스킹(Redact) 등 각 작업별로 최적화된 모델들로, 모두 밀리초 단위 응답 시간을 제공한다.
- Voz는 Whisper보다 4.7배 빠르고, Clear는 5분 음성을 1초에 처리하며, Redact는 12MB 크기로 GLiNER-PII(2.3GB)와 유사한 정확도를 낸다.
- 월 10만 활성 기기까지 무료이며, 개발자는 Swift·Kotlin·JavaScript SDK로 몇 줄의 코드로 통합할 수 있다.
- 데이터가 기기를 벗어나지 않으므로 클라우드 API 비용을 없앨 수 있고, 기업들이 LLM에 쏟는 토큰 비용의 40~70%를 이런 소형 모델로 대체할 수 있다고 주장한다.