MoE 모델 디코딩 성능 2배 근처로 높이는 프레임워크
원제 SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving
추천 13댓글 4
Key Point
MoE 모델의 디코딩 병목을 해결하는 새로운 방식으로 정확도 손실을 최소화하면서 처리량을 획기적으로 높일 수 있다는 점이 중요하다.
핵심 요약
- Mixture-of-Experts(MoE) 모델은 토큰당 소수 전문가만 활성화하지만, 배치 디코딩에서는 거의 모든 전문가에 접근해야 해 전문가 가중치 트래픽이 주요 병목이 된다.
- 기존 전문가 가지치기(pruning)는 계산이 필요한 prefill 단계도 함께 가지쳐 모델 품질 저하에 비해 처리량 향상이 미미하다.
- SlimWise는 추론 각 단계별로 전문가 풀을 다르게 구성하는 서빙 프레임워크로, prefill은 전체 모델로 수행하고 decode는 가지친 모델을 사용한다.
- SlimWise는 prefill이 생성한 KV 캐시를 decode 단계에서 변환 없이 직접 재사용하는 training-free 방식���로, 두 가지 MoE 백본과 세 가지 가지치기 기준에서 정확도 손실을 좁혔다.
- 벤치마크 정확도는 생성 길이 변화를 감출 수 있어, SlimWise는 저비용 증류 단계를 추가해 디코더가 전체 모델 KV 캐시에서 계속 생성하도록 학습하면서 파라미터 일부만 업데이트한다.
- vLLM에 구현된 SlimWise는 prefill-decode 분리 및 통합 서빙을 지원하며, Qwen 3.6-35B-A3B에서 50% 전문가 가지치기 시 디코딩 처리량을 최대 1.81배 향상시킨다.