의사결정 모델 추론 9.5배 가속화하는 엔진 Flide
원제 Flide: Accelerating Decision Inference with Exact State Forking
추천 35댓글 6
Key Point
LLM 에이전트가 빠른 의사결정을 내려야 하는 시스템에서 추론 성능과 정확성 간 트레이드오프를 동시에 해결하는 구체적인 방법을 제시한다.
핵심 요약
- Decision 모델처럼 LLM 에이전트 시스템의 의사결정을 담당하는 경량 추론 패러다임이 등장했으나, 기존 생성형 추론 엔진은 접두사 재계산 오버헤드나 확률 왜곡 문제로 이 워크로드를 효과적으로 지원하지 못한다.
- Flide는 의사결정 요청의 논리적 트리 구조를 단일 평탄화 토큰 스트림 내 물리적 실행에서 분리하는 정확한 추론 엔진이다.
- ForkAttention이라는 기법으로 GPU 메모리의 인덱스를 통해 표준 어텐션과 Gated DeltaNet 계층에서 요청 의존성을 탐색하며, 정확한 산술 연산을 보장해 모든 분기가 독립 포워드 패스와 동일하게 평가된다.
- 분기 위상을 GPU 상주 메타데이터로 표현해 미리 기록된 실행 그래프 세트로 다양한 요청 조합을 처리할 수 있으며, 에이전트 히스토리는 이전 패스에서 저장한 체크포인트에서 재개할 수 있다.
- 공개 하이브리드 및 의사결정 모델로 평가한 결과 Flide는 vLLM과 SGLang보다 쿼리 응답을 최대 9.5배 빠르게 처리하면서 float32 참조 대비 총변동 거리가 가장 작아 정확도를 유지한다.
- Flide는 물리적 실행 처리량과 수학적 정확성을 통합해 에이전트 시스템에서 확장 가능하고 지연시간이 중요한 의사결정 인텔리전스를 위한 원칙적 기초를 확립한다.