에이전트 AI 추론을 위한 '히스토리 프리' 추측 디코딩 DLite
원제 DLite: History-free Speculative Decoding for Agentic AI
추천 20댓글 2
Key Point
에이전트 AI 같은 긴 맥락의 상호작용형 워크로드에서 LLM 추론 속도를 크게 높일 수 있는 새로운 접근 방식을 제시합니다.
핵심 요약
- 추측 디코딩은 경량 드래프트 모델로 토큰을 생성하고 타겟 모델이 검증하는 방식으로 LLM 추론을 가속화하는 기법이지만, 에이전트 AI 워크로드의 긴 맥락과 다중 턴 상호작용에서는 드래프트 모델의 토큰 승인률이 최대 80% 저하된다.
- 기존 방식은 역사적 KV 캐시를 유지함에 따라 시스템 오버헤드가 커진다.
- 연구팀은 증가하는 역사적 맥락이 두 문제의 공통 원인임을 파악하고, DLite라는 '히스토리 프리' 추측 디코딩 프레임워크를 제안했다.
- DLite는 타겟 모델의 맥락 숨김 상태를 직접 재사용하고 역사적 맥락을 명시적으로 유지하지 않으면서 국소 추측 예측을 수행한다.
- 경량 순차 헤드가 블록 내 인과 의존성을 낮은 오버헤드로 복원한다.
- 이 이질적 구조를 효과적으로 훈련하기 위해 2단계 훈련 전략을 개발했다.
- 범용·장문맥·에이전트 워크로드 실험에서 DLite는 2~6배의 토큰 승인률을 달성했고, 최신 추측 디코딩 방법인 DSpark보다 최대 70% 성능을 앞선다.