투기적 디코딩에서 불필요한 검증을 줄이는 DLoop 기법
원제 DLoop: Looped Speculative Decoding
추천 12댓글 2
Key Point
LLM 추론 속도는 산업 전반의 핵심 과제인데, DLoop가 기존 투기적 디코딩 방식들의 근본 한계를 해결하고 다양한 방법에 범용적으로 적용 가능하다는 점이 중요합니다.
핵심 요약
- 큰 언어 모델의 자동회귀 생성을 가속하는 투기적 디코딩은 경량 초안 모델이 토큰을 제안하면 목표 모델이 이를 검증하는 방식으로 작동한다.
- 초안 모델의 성능이 높아지면 목표 모델이 제안된 토큰 전체를 자주 수락하는데도, 매 초안 단계 후 불필요한 검증 및 목표 모델 연산이 반복된다.
- 기존 적응형 초안 길이 방식들은 자동회귀 초안 모델에서만 속도 향상을 주고, 병렬 초안 모델의 경우 검증되지 않은 토큰의 목표 모델 은닉 상태가 필요해 한계가 있다.
- 연구진이 제안한 DLoop는 여러 초안 단계를 거친 후 한 번에 검증하는 반복형 투기적 디코딩으로, 초안 모델의 신뢰도가 높을 동안 계속 초안을 작성하고 축적된 토큰을 함께 검증한다.
- 루프 인식 학습으로 초안 모델을 추가 초안 단계에서 신뢰성 있게 유지하며, 검증되지 않은 토큰의 초안 모델 은닉 상태를 노출시켜 훈련한다.
- 초안 모델 연산을 더 수행함으로써 목표 모델의 검증 연산을 줄이며, EAGLE-3, DFlash, Domino, DSpark 등 다양한 투기적 디코딩 방식에 적용할 수 있다.
- 실험 결과 DLoop는 손실 없는 디코딩을 유지하면서 벽시계 속도로 5~41% 성능 향상을 달성했다.