System 1 의사결정 모델 Laya 오픈소스 공개
원제 Laya the open source version of Jev
354 포인트댓글 72
Key Point
LLM으로 단순 분류 작업을 처리하는 비효율을 해결하는 새로운 모델 아키텍처가 공개됐으며, Jev의 폐쇄성 대비 완전 오픈소스 대안이 필요한 상황이다.
핵심 요약
- LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다.
- 자동회귀 생성 방식 대신 순방향 한 번의 추론으로 확률분포를 반환하며, 30~35ms의 초저지연 응답을 제공한다.
- choice(선택지 선택), score(순서척도), noul(참거짓 판정) 세 가지 기본 연산만으로 동작하여 환각이나 JSON 파싱 오류가 불가능하다.
- ModernBERT 기반 영문, 다국어, 고도형 의사결정 세 가지 체크포인트를 단일 저장소에 번들로 제공하며, 선택적 다운로드로 2.5GB 중 필요한 부분만 받을 수 있다.
- Jev 대비 6~8배 빠른 속도, Apache 2.0 오픈소스, 구독료 없음, 100개 언어 지원을 제공한다.
- 영문 모델의 BPE 어휘집이 크메르어(0% 정확도), 아르메니아어(5%)같은 비라틴문자 언어에서 심각히 실패해, 언어별 라우팅의 필요성을 보여준다.