긴 맥락 LLM을 위한 스파스 추론 엔진 'SparseEngine' 공개
원제 SparseEngine: Sparse-First Inference Engine
추천 17댓글 2
Key Point
긴 맥락 LLM 에이전트의 메모리 부하와 계산 비용을 획기적으로 줄이면서 기존 추론 엔진과 호환되는 첫 번째 스파스 우선 엔진으로, 실무 배포 환경에서 즉시 활용 가능한 성능 개선을 제공한다.
핵심 요약
- 긴 상호작용 이력을 축적하는 LLM 에이전트는 KV-캐시 메모리와 어텐션 연산 부하가 증가하는 문제를 겪고 있다.
- 기존 스파스 어텐션 방식들은 이질적인 캐시 표현과 워크플로우로 인해 기존 추론 엔진 통합이 어렵고, 특정 레이아웃이나 워크플로우만 지원한다.
- SparseEngine은 스파스 우선 설계의 추론 엔진으로, 공유된 생명주기 계약을 통해 각 방식이 KV 표현과 연산을 독립적으로 제어하면서도 공통 인프라와 상태 전환을 조율할 수 있다.
- 4가지 카테고리에 걸쳐 15가지 스파스 주의 방법을 지원하며, Chain Cache로 보유 이력에서 KV 제거 방법을 재개할 수 있고, Prefix-Cache Pruning으로 선택한 이력 영역의 KV를 제거하면서 논리적 프리픽스 매칭을 유지한다.
- 방법의 품질을 유지하면서 KV 제거 시 처리량 10배 이상, vLLM 대비 같은 동시성에서 디코딩 2.5배 이상 빠르며, 에이전트 벤치마크에서 2배 이상의 엔드-투-엔드 속도 향상을 달성한다.
- 코드는 GitHub에 공개되어 있다.