확산 언어 모델의 추측 디코딩 가속화 기법 SPOT 제안
원제 On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
추천 46댓글 2
Key Point
확산 언어 모델의 속도 문제를 해결하는 새로운 추측 디코딩 기법으로, 토큰 위치 순서 예측이라는 핵심 인사이트를 통해 정확성을 유지하면서 6배 이상의 가속화를 달성했으며, 학습된 드래프터가 여러 모델에 전이 가능해 실용성이 높다.
핵심 요약
- 확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다.
- 정확한 디코딩은 모델 패스당 하나의 마스킹된 위치만 채우고, 빠른 멀티토큰 디코딩은 품질 손실이 발생한다.
- 추측 디코딩은 자동회귀 모델의 표준 가속 기법이지만 DLM에 직접 적용되지 않는데, DLM은 무엇을 생성할지뿐 아니라 어디에 생성할지를 선택해야 하기 때문이다.
- 핵심 통찰은 토큰 위치의 순서 선택에 있다: 모델의 이전 패스 예측이 90% 이상의 위치에서 올바른 토큰을 제공하지만 다음 생성 위치를 명시하지 않는다.
- SPOT(Speculating Positions Order Trajectory)은 620만 파라미터의 소형 모델로, 목표 모델의 출력 분포만 읽어 생성 순서를 예측하고 후보 연속 기열의 트리를 제안한다.
- 목표 모델은 상태 동일성으로 단일 패스에서 이를 검증하며, 드래프터와 목표 모델 사이에 검증을 정확히 유지하는 결합 잡음 매칭 기법을 사용한다.
- SPOT-Sets는 동적 임계값 디코딩을 위한 확장으로, 한 패스에서 여러 위치를 동시에 커밋하고 토큰을 함께 생성한다.
- SDAR-8B에서 SPOT은 목표 모델의 패스를 최대 6.8배 감소시켜 표준 디코딩 대비 최대 3.4배 처리량을 달성했다.
- T=0과 T=1 조건에서 캘리브레이션된 기준과 학습 없는 드래프팅 기준을 모든 작업과 예산에서 능가하거나 동등한 수준을 달성한다.
- SPOT의 학습된 드래프터는 6개의 서로 다른 DLM에 걸쳐 전이되며, 경량 캘리브레이션을 통해 SPOT-Sets 드래프터도 전이 가능하다.
- SPOT-Sets는 동적 임계값 디코더 위에서 SDAR-8B의 처리량을 평균 59% 개선했다.