Hacker NewsAI · 머신러닝

화웨이, 로컬 추론용 양자화 도구 MACaQ 공개

원제 Huawei releases MACaQ, its internal quantizer for local inference

116 포인트댓글 26
Key Point

로컬 환경에서 대규모 모델을 빠르게 양자화하려는 개발자들에게 성능과 속도 모두 우수한 새로운 도구가 공개되어, 리소스 제한적인 환경에서의 모델 배포 선택지가 확대되었다.

핵심 요약

  • 화웨이가 개발한 MACaQ는 텍스트, 이미지, 비디오, 오디오 모델을 양자화하는 모델 무관 양자화 도구로, llama.cpp, vLLM, Diffusers, PyTorch 등 다양한 백엔드를 지원한다.
  • 122B 파라미터 모델을 64분 내에 32.5GB 메모리만으로 양자화할 수 있으며, MR-GPTQ와 DuQuant++보다 더 낮은 퍼플렉시티를 달성하거나 Llama-3-8B에서 11배 빠른 양자화 시간으로 동등한 성능을 제공한다.
  • llama.cpp 백엔드는 2/3/4비트 GGUF 포맷의 텍스트 생성을 지원하고 CPU 실행도 가능하며, vLLM은 W4A4 또는 가중치 전용 양자화로 텍스트 생성 및 서빙을 지원한다.
  • Diffusers 백엔드는 이미지, 비디오, 오디오 생성을 W4A4 형식으로 지원하고, PyTorch 백엔드는 음성 생성을 W4A4로 처리한다.
  • vLLM에서 Qwen3.8-27B 모델은 원본 BF16 대비 프리필 2.33배, 디코드 2.58배 속도 향상을 보이며 퍼플렉시티는 2.8463에서 2.8994로 증가한다.
  • MACaQ-R은 기존 GGUF 모델을 정제하여 품질을 개선하고 워크로드에 맞게 적응시키면서 표준 llama.cpp와의 호환성을 유지한다.
  • MACaQ-R로 정제한 Qwen3.6-35B-A3B Q4_K_XL 모델은 Unsloth UD-Q4_K_XL과 동일한 22.36GB 크기에서 KL 다이버전스를 0.015731에서 0.013367로 개선한다.
  • Ascend 백엔드는 W4A4 밀집 및 그룹 행렬곱 커널을 지원하며, Apache License 2.0으로 배포된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗