장문맥 처리 가속화, 동적 라우팅으로 더 빠르고 똑똑하게
Key Point
장문맥 LLM 추론의 메모리 오버헤드를 동적 라우팅과 실행 계획 최적화로 1.6배까지 가속하는 기법으로, 긴 프롬프트를 다루는 AI 애플리케이션의 성능 개선에 직결된다.
핵심 요약
- Mixture of Block Attention(MoBA)은 긴 컨텍스트 계산을 각 쿼리별로 필요한 Key-Value(KV) 블록만 선택해 줄이는 방식이다.
- 기존 FlashMoBA는 고정된 Top-k 예산과 쿼리 중심 스케줄을 사용해 여러 범위가 같은 컬럼을 선택할 때 KV 재사용이 단편화되는 문제가 있다.
- LightningMoBA는 동적 라우팅으로 각 쿼리의 블록 점수에 맞춰 가변 크기의 희소 메타데이터를 직접 생성한다.