LLM 추론 가속화 기법 PreSTO 제안
원제 PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
추천 11댓글 2
Key Point
Power sampling으로 LLM 추론 품질은 개선되지만 속도가 병목이었는데, PreSTO는 수학적 정확성을 유지하면서 1.7~2.3배 속도 향상을 실현해 실용적 배포의 장벽을 낮춘다.
핵심 요약
- LLM 추론 시 검증 기반 샘플링(Power sampling)을 활용하면 결과 품질이 높아지지만, Metropolis-Hastings(MH) 알고리즘의 순차 처리로 속도가 느렸다.
- PreSTO(Predictive SubTree Prefetching)는 미래의 샘플 생성 제안을 미리 배치 처리하되, MH 전이 커널은 변경하지 않으므로 수학적 정확성을 유지한다.
- 알고리즘은 accept/reject 결정을 트리 구조로 모델링하고, 각 모델 호출에서 한 번에 여러 제안을 생성한 뒤 실제 경로를 MH 규칙으로 추적한다.
- 예측 기반 트리 순회 규칙을 추가로 설계해 실제로 도달하는 희소한 경로에 맞춰 다음 서브트리를 선택한다.
- 7개 데이터셋과 5개 기본 LLM에서 PowerMH 대비 중앙값 1.71배, EntropyCut 대비 1.91배, MultiTryMH 대비 2.33배 속도 향상을 달성했다.
- 모델 호출 횟수는 3.9배 감소했고, 각 호출의 길이는 2.1배만 증가하는 효율적 트레이드오프를 보인다.
- Qwen3.5-9B에서 예측 기반 순회 규칙은 기본 너비 우선 순회보다 1.25~1.37배 빠르다.