병렬 초안 생성의 문제를 고치는 DCOCO 기법
원제 Contextual Correction of Parallel Drafts for Speculative Decoding
추천 27댓글 2
Key Point
현재 프로덕션 LLM 추론에서 가장 효과적인 가속 기법인 추측 디코딩의 근본적 병목을 해결했으며, 모든 서빙 조건에서 지속적인 성능 향상을 제시한다.
핵심 요약
- 추측 디코딩은 경량의 드래프터가 여러 토큰을 먼저 제안하고 타겟 모델이 병렬로 검증해 LLM 추론을 가속화한다.
- 최근 확산 기반 드래프터들은 병렬로 여러 위치를 동시에 예측하지만, 각 토큰이 앞선 토큰들의 정체를 모른 채 예측되어 자동회귀 생성의 문맥 의존성이 손실된다.
- DCOCO(DFlash Contextual Corrector)는 병렬 드래프팅을 유지하면서 이 의존성을 복원하는 경량 메커니즘이다.
- 각 위치의 최상위 예측에 바로 커밋하지 않고, 여러 후보 토큰을 유지한 후 인접 위치 간 문맥 호환성을 병렬로 평가해 저비용으로 문맥을 고려한 토큰 선택을 수행한다.
- 4개 검증기 백본과 10개 벤치마크에서 DCOCO는 모든 구성(탐욕/확률적 디코딩, 확장 추론 유무)에서 최고 처리량을 달성했으며, 기본 디코딩 대비 최대 6.6배 속도 향상을 보였다.
- 동시 서빙 환경에서도 4~32개 동시 요청 조건에서 경쟁 방법보다 6~23% 성능 향상을 유지하며, 다른 순차적 보정 방식들은 이 부하에서 보정 없는 DFlash 아래로 떨어진다.