Jeff: 0.8B 경량 분류 모델로 30ms 만에 선택지 판단
Key Point
경량 모델로 30ms 안에 로컬에서 고속 분류를 수행할 수 있어, API 지연 없이 의사결정 시스템을 직접 구축해야 하는 개발자에게 즉시 활용 가능한 솔루션이다.
핵심 요약
- Qwen3.5와 Gemma 4를 파인튜닝한 0.8B~2B 경량 분류 모델 Jeff를 공개했다.
- 한 번의 순전파로 각 선택지의 보정된 확률을 반환하며, RTX PRO 6000에서 22ms, Apple M4 Max에서 28ms가 소요된다.
- 제로샷 분류가 가능해 학습 데이터에 없는 옵션도 자연어 설명으로 판단할 수 있다.