System 1 의사결정 모델 Laya 오픈소스 공개
Key Point
LLM으로 단순 분류 작업을 처리하는 비효율을 해결하는 새로운 모델 아키텍처가 공개됐으며, Jev의 폐쇄성 대비 완전 오픈소스 대안이 필요한 상황이다.
핵심 요약
- LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다.
- 자동회귀 생성 방식 대신 순방향 한 번의 추론으로 확률분포를 반환하며, 30~35ms의 초저지연 응답을 제공한다.
- choice(선택지 선택), score(순서척도), noul(참거짓 판정) 세 가지 기본 연산만으로 동작하여 환각이나 JSON 파싱 오류가 불가능하다.
- ModernBERT 기반 영문, 다국어, 고도형 의사결정 세 가지 체크포인트를 단일 저장소에 번들로 제공하며, 선택적 다운로드로 2.5GB 중 필요한 부분만 받을 수 있다.
- Jev 대비 6~8배 빠른 속도, Apache 2.0 오픈소스, 구독료 없음, 100개 언어 지원을 제공한다.
- 영문 모델의 BPE 어휘집이 크메르어(0% 정확도), 아르메니아어(5%)같은 비라틴문자 언어에서 심각히 실패해, 언어별 라우팅의 필요성을 보여준다.