Hugging Face 논문AI · 머신러닝

장문맥 처리 가속화, 동적 라우팅으로 더 빠르고 똑똑하게

원제 Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining

추천 18댓글 3Yingqi Shi, Junru Lu, Yun Liu 외
Key Point

장문맥 LLM 추론의 메모리 오버헤드를 동적 라우팅과 실행 계획 최적화로 1.6배까지 가속하는 기법으로, 긴 프롬프트를 다루는 AI 애플리케이션의 성능 개선에 직결된다.

핵심 요약

  • Mixture of Block Attention(MoBA)은 긴 컨텍스트 계산을 각 쿼리별로 필요한 Key-Value(KV) 블록만 선택해 줄이는 방식이다.
  • 기존 FlashMoBA는 고정된 Top-k 예산과 쿼리 중심 스케줄을 사용해 여러 범위가 같은 컬럼을 선택할 때 KV 재사용이 단편화되는 문제가 있다.
  • LightningMoBA는 동적 라우팅으로 각 쿼리의 블록 점수에 맞춰 가변 크기의 희소 메타데이터를 직접 생성한다.
  • KV 중심 소유권 방식으로 선택된 행을 (쿼리 헤드, KV 블록) 컬럼별로 그룹화하고 높은 팬아웃 컬럼을 제한된 크기의 작업으로 분할해 각 작업의 로드된 KV 타일을 재사용한다.
  • Hopper GPU에서 런타임 파이프라이닝은 일반적인 K/V 전송과 불규칙한 쿼리 수집을 Tensor Core 연산과 겹친다.
  • 이 메커니즘들은 메모리 유지율을 GPU 스케줄링 단위와 분리한다.
  • Top-16 유지율 기준 다섯 체크포인트에서 LightningMoBA는 엔드투엔드 생성 속도를 1.20~1.60배 가속화하고 평균 RULER 점수를 74.42에서 75.28로 향상시킨다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗