결정 모델 추론 최대 9.5배 빠르게 하는 Flide 공개
원제 Show HN: Flide: Make Jev-like decision models up to 9.5x faster
106 포인트댓글 27
Key Point
결정 모델을 다루는 개발자와 AI 애플리케이션 구축자에게 기존 추론 엔진 대비 크게 향상된 성능과 다양한 모델 선택지를 제공하는 오픈소스 도구다.
핵심 요약
- OmniJev가 개발한 Flide는 Jev 스타일 결정 모델용 고속 추론 인프라로, 정확한 상태 포킹(exact state forking) 기술을 통해 vLLM과 SGLang 대비 최대 9.5배 빠른 속도를 제공한다.
- Flide는 /v1/systemone API를 서빙하며, 모든 응답이 모델 단독으로 처리한 결과이다.
- 모델은 Python 3.12와 PyPI를 통해 설치할 수 있고, 명령 한 줄로 각 모델을 시작할 수 있다.
- OneJev, Open-Jev, Qwen3.5, Gemma 4를 비롯해 Darwin, KnowLine, pplx-decider 등 30개 이상의 결정 모델 패밀리를 지원한다.
- 벤치마크에서 OneJev는 MultiRC에서 7.3배, QuALITY에서 4.7배, Senova는 MultiRC에서 28.1배 성능 향상을 보였다.
- 텍스트와 이미지를 입력받으며, 일부 모델은 비디오도 지원한다.
- --session-cache-gb, --batch-invariant, --quantize fp8, --frontends 등의 옵션으로 캐싱, 속도, 양자화, 병렬 처리를 조정할 수 있다.
- Apache-2.0 라이선스를 사용하며, flash-linear-attention 커널을 기반으로 한다.
- 2026년 10월 24일부터 0.1.0을 시작으로 꾸준히 모델과 기능을 추가해왔으며, arXiv에 논문을 공개했다.