Hacker NewsAI · 머신러닝

DeepSeek, KV 캐시 압축으로 추론 속도 420 토큰/초 달성

원제 DeepSeek-v4.1 Flash: Pushing the Limits of KV Cache Compression

114 포인트댓글 8
Key Point

에이전트 워크플로우에서 일반적인 병목인 장문맥 프리필 계산과 KV 캐시 저장 비용을 획기적으로 줄인 새로운 모델 아키텍처 설계가 장기 맥락 처리와 배포 비용 절감에 어떻게 영향을 미치는지 보여준다.

핵심 요약

  • DeepSeek-v4.1 Flash는 552B 매개변수 멀티모달 모델로, 에이전트 워크플로우에서 증가하는 컨텍스트와 도구 호출로 인한 프리필 계산 부담을 해결하기 위해 설계됐다.
  • KV 캐시 압축을 위해 채널·시퀀스·레이어 세 차원에서 최적화를 진행했으며, 같은 시퀀스 길이에서 런타임 KV 캐시는 v4-Flash의 1/4, 영구 저장소는 1/8 수준으로 줄었다.
  • Causal Encoder-Decoder(CED) 아키텍처를 도입해 프리필 단계에서 8B, 디코딩 단계에서 16B 매개변수만 활성화되도록 설계했으며, 이는 입력 중심의 에이전트 시나리오에 특히 효율적이다.
  • 프리필 최적화는 YoCo에서 영감을 받아 40개 레이어 중 20개만 프리필 단계에서 필요하게 설계했고, Decoder SWA Bounded Replay로 멀티턴 상호작용에서 계산 비용을 추가로 줄였다.
  • KV 캐시 압축은 GQA 유사 헤드 압축, CSA 블록 기반 압축, CSA2 교차 레이어 압축, Sparse Attention 인덱서 최적화, FP4 수치 정밀도 적용 등을 조합해 달성했다.
  • CSA2는 128 크기의 슬라이딩 윈도우와 글로벌 희소 검색을 결합하며, 여러 레이어가 동일한 글로벌 KV를 공유해 Encoder 캐시 3사본, Decoder 캐시 1사본만 유지한다.
  • 멀티모달 입력을 지원하기 위해 32레이어 ViT에서 이미지를 처리한 뒤 공간 재배열과 압축으로 원본의 1/9로 토큰을 줄이고 최대 1024개 비전 토큰을 LLM 입력에 삽입한다.
  • 모든 이미지 또는 텍스트 토큰에 대해 독립적으로 전문가 로드 밸런싱을 수행하는 aux-loss-free 멀티모달 MoE 로드 밸런싱을 적용했다.
  • YoCo와 달리 CED는 Encoder 2개 레이어를 SWA로, 나머지 18개 레이어를 CSA2(희소 주의와 SWA 결합)로 처리하며, 첫 번째 레이어에서 생성한 표현을 Decoder 모든 레이어가 공유한다.
  • mHC(Mixture of Heads with Channel mixing)를 도입해 각 토큰이 4개의 잔차 스트림을 유지하고, Sinkhorn 반복으로 이중 확률 행렬 제약을 적용해 커널 융합을 촉진하고 메모리 읽기/쓰기를 줄인다.
  • DSpark 추론 가속화는 SWA-128 드래프트 블록에서 Top-3 전문가 라우팅을 사용하는 소규모 MoE를 통해 병렬 초안 생성을 수행하며, 마르코프 헤드와 신뢰도 헤드로 검증 길이를 결정한다.
  • 영구 저장소에서 각 토큰당 약 890바이트의 글로벌 KV와 인덱서 저장소 증가를 달성했으며, 1M 토큰 범위 내에서 필요 계산이 거의 선형적으로 증가한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗