추측 디코딩 성능 41% 높이는 병렬 온폴리시 디스틸레이션 기법

핵심 요약

• LLM 추론을 가속화하는 추측 디코딩(SD)은 병렬 초안 생성으로 한 번의 포워드 패스에서 여러 토큰을 예측하지만, 전체 속도는 여전히 채택 길이(acceptance length)에 좌우된다.
• 온폴리시 디스틸레이션(OPD)은 훈련된 초안 생성기를 채택 길이 한계 이상으로 끌어올릴 수 있으나, 기존 방식은 순차적인 초안-검증 롤아웃을 통해 감독 신호를 수집한다.
• 본 논문의 핵심 아이디어는 온폴리시 감독 신호가 이 순차 의존성을 벗을 수 있다는 것이다: 초안 블록은 참조 접두사와 초안으로 샘플링한 이력만으로도 감독될 수 있다.
• SpecOPD는 진화하는 초안 생성기의 정책에서 독립적으로 그려낸 여러 브랜치에서 초안 샘플링과 감독을 병렬화하는 프레임워크다.
• 제안 트리로 브랜치를 압축해 타겟 접두사 계산을 공유하며, 풀 어텐션은 트리 마스크로, 스파스 어텐션은 브랜치 일관성 인덱서로, 선형 어텐션은 인덱스 상태 재생으로 각 브랜치의 이력을 보존한다.
• 드래프터는 채택 길이를 직접 목표로 하는 E2E-TV 서로게이트로 훈련된다.
• 8B 풀-어텐션, 27B 풀-리니어, 125B 스파스-리니어 타겟과 세 가지 초안 아키텍처(DFlash, DSpark, DFlash V2)에서 평가했으며, 대화·코딩·수학·에이전트 네 가지 작업 도메인을 다루었다.
• SpecOPD는 평균 채택 길이를 최대 41.45% 높였고, 순차 롤아웃 OPD 대비 감독 토큰 처리량을 16.09배 개선했으며, 자동회귀 디코딩 대비 최대 3.56배 생성 속도 개선을 달성했다.