Hugging Face 논문AI · 머신러닝

의사결정 모델 추론 9.5배 가속화하는 엔진 Flide

원제 Flide: Accelerating Decision Inference with Exact State Forking

추천 35댓글 6Bobo Li, Jiajia Song, Hao Fei 외
Key Point

LLM 에이전트가 빠른 의사결정을 내려야 하는 시스템에서 추론 성능과 정확성 간 트레이드오프를 동시에 해결하는 구체적인 방법을 제시한다.

핵심 요약

  • Decision 모델처럼 LLM 에이전트 시스템의 의사결정을 담당하는 경량 추론 패러다임이 등장했으나, 기존 생성형 추론 엔진은 접두사 재계산 오버헤드나 확률 왜곡 문제로 이 워크로드를 효과적으로 지원하지 못한다.
  • Flide는 의사결정 요청의 논리적 트리 구조를 단일 평탄화 토큰 스트림 내 물리적 실행에서 분리하는 정확한 추론 엔진이다.
  • ForkAttention이라는 기법으로 GPU 메모리의 인덱스를 통해 표준 어텐션과 Gated DeltaNet 계층에서 요청 의존성을 탐색하며, 정확한 산술 연산을 보장해 모든 분기가 독립 포워드 패스와 동일하게 평가된다.
  • 분기 위상을 GPU 상주 메타데이터로 표현해 미리 기록된 실행 그래프 세트로 다양한 요청 조합을 처리할 수 있으며, 에이전트 히스토리는 이전 패스에서 저장한 체크포인트에서 재개할 수 있다.
  • 공개 하이브리드 및 의사결정 모델로 평가한 결과 Flide는 vLLM과 SGLang보다 쿼리 응답을 최대 9.5배 빠르게 처리하면서 float32 참조 대비 총변동 거리가 가장 작아 정확도를 유지한다.
  • Flide는 물리적 실행 처리량과 수학적 정확성을 통합해 에이전트 시스템에서 확장 가능하고 지연시간이 중요한 의사결정 인텔리전스를 위한 원칙적 기초를 확립한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗