추론 속도 7배 끌어올리는 비동기 투기형 디코딩 D3D
원제 D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
추천 17댓글 1
Key Point
LLM 추론 병목 해결과 실시간 AI 서비스 성능 향상에 직결되는 새로운 분산 처리 기법으로, 기존 투기형 디코딩 방식의 근본적인 대기 문제를 제거했습니다.
핵심 요약
- 기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다.
- D3D는 타겟 모델의 숨겨진 상태 없이 독립적으로 작동하는 확산 드래프터로, 블록 단위 노이징 제거와 보조 자기회귀 감독을 결합해 장기 수용 프리픽스를 달성한다.
- 이러한 독립성으로 D3D는 검증 중 후속 블록을 병렬로 드래프팅할 수 있어 비동기 투기형 디코딩을 가능하게 한다.
- 계층별 수용 길이 영향도에 따라 점진적으로 계층을 제거하면 패킹된 드래프팅 비용을 절감할 수 있으며, 36개 계층 중 5개만 제거해도 평균 수용 길이의 99% 이상을 유지한다.
- Qwen3-8B 타겟에서 7개 벤치마크 평균 5.00배, Qwen3-32B에서 5.71배의 디코딩 속도 향상을 달성하며, DFlash의 4.03배, 3.67배를 크게 상회한다.
- GSM8K 벤치마크에서 Qwen3-32B 타겟 기준 7.48배의 최고 속도 향상을 기록했으며 코드는 공개되어 있다.