JevBench, 타입 기반 의사결정 모델의 재현 가능한 벤치마크 공개
원제 Show HN: JevBench, a reproducible benchmark for typed decision models
103 포인트댓글 25
Key Point
타입 안전 의사결정 모델들의 성능을 객관적으로 비교할 수 있는 재현 가능한 벤치마크가 제공되어, 프로덕션 환경에서 어떤 모델을 선택할지 판단하는 기준이 명확해진다.
핵심 요약
- JevBench는 Jev 1.13.0 등 타입 안전 의사결정 모델들을 일관된 기준으로 측정하는 벤치마크이며, Intelligence 85.1, Calibration 77.9, Speed 87.6, Cost 84.3 점 등으로 각 모델을 평가한다.
- Classifier.dev는 Jev 모델을 기반으로 하되 저신뢰도 응답에 추론 모델(Gemini 3.8 Flash)을 재질문하는 오케스트레이션 계층을 추가한 제품으로, 벤치마크에서 honorable mention으로 표시된다.
- Classifier.dev의 가격은 월 $20으로 일일 20만 건 분류 시 약 $0.0033/1,000 결정이며, 무료 티어(일일 2만 건)에서도 사용 가능하다.
- 벤치마크는 오픈소스이며 무계정으로 접근할 수 있고, Michael Ryaboy가 관리한다.