Sparse Attention의 성능 가속, 무손실 증명 기반 최적화
원제 DoSA: Dots Sparse Attention
추천 66댓글 1
Key Point
LLM의 주요 병목인 sparse attention 계산을 수학적 증명으로 가속하는 기법으로, 추론 속도 개선이 직접적으로 비용 절감으로 이어지는 프로덕션 환경에서 실질적 임팩트를 제공한다.
핵심 요약
- DoSA(Dots Sparse Attention)는 sparse attention의 계산 비용을 줄이는 무손실 방법으로, 모든 키에 대한 점수 매김을 조건부로 만들면서도 정확한 토큰 선택을 보장한다.
- 핵심 아이디어는 Top-K 선택이 후보를 완전히 평가하지 않아도 승리 임계값에 대한 증명(certificate)으로 배제 가능하다는 점이다.
- 시드 세트가 임계값의 하한을 제공하고, 음수 가중치 헤드의 기여도를 수학적으로 상한으로 제한한다.
- 음이 아닌 헤드의 투영과 조인트 잔차 경계가 양의 기여도를 상한으로 제한하며, 활성화 정보 기반 집계가 음수 헤드의 감소량을 제한한다.
- 증명은 실제 점수 매김이 필요한 후보만 정확히 평가하여 쓰기 작업과 선택 작업을 줄인다.
- GPU 구현은 SGLang 대비 최대 2.74배, LiteTopK 대비 1.69배의 Indexer 가속을 달성했다(영어, 중국어, 코드 워크로드 기준).
- GLM-5.2와 DeepSeek-V3.2 기반 종단 간 평가에서 기존 방식 대비 각각 최대 1.94배, 1.50배의 첫 토큰까지 시간 단축을 달성했다.