Hacker NewsAI · 머신러닝오늘의 주요

경량 모델 압축 컴파일러, 애플 실리콘에서 초고속 추론

원제 Inkling-2-Mini in 5.4 GB Memory

234 포인트댓글 46
Key Point

대형 LLM을 Apple Silicon에서 실시간 실행 가능한 크기로 압축하면서 성능 손실을 최소화하는 기술로, 모바일과 엣지 디바이스에서의 LLM 활용 방식을 바꿀 수 있다.

핵심 요약

  • LookAtMyQuant는 양자화 컴파일러로, 압축 시 모델 각 부분이 출력에 미치는 손상을 측정해 가장 작은 손상으로 목표 용량에 맞추는 코드를 선택한다.
  • Gemma 4 E2B에서 같은 파일 크기 기준 GGUF가 Q4_K_M보다 KL(Kullback-Leibler divergence)이 12배 낮다.
  • Qwen3.5-4B를 1.23GB(2.3비트/가중치)로 압축하면 540개 수학 문제 중 330개를 풀고, Prism ML의 Bonsai 2는 같은 크기에서 328개를 푼다(원본은 359개).
  • 양자화 과정은 트렐리스 코드 기반 사후 양자화, 수학 솔루션 디지털 토큰에 10배 가중치 부여, 피셔 정보로 행당 비트 할당, 그 후 4,000스텝 증류로 진행되며 GPU 시간으로 약 $34가 든다.
  • Qwen3.8-27B는 53.7GB에서 7.2GB(2.1비트/가중치)로 압축되고 540개 문제 중 401개(원본과 동일), HumanEval 73.8%, MMLU 78.8%, GSM8K 94.5%를 달성한다.
  • Inkling-2-Mini는 18.89GB에서 5.38GB(1.63비트/가중치) 또는 8.87GB(2.69비트/가중치)로 압축되며, 5.38GB 버전은 9.14GB 모델보다 크기는 41% 작으면서 GSM8K와 HumanEval에서 더 높은 점수를 얻는다.
  • 8.87GB 버전은 BF16 원본과 GSM8K 성능이 같고 영어/채팅/코드에서 KL이 2.34배 낮다.
  • 애플 실리콘 Metal 커널(MoE prefill + FlashAttention-2 + 추측 샘플링)로 M5 Max에서 5.4GB 모델이 T=512 프리필 시 1,807토큰/초, 직렬 디코딩 75.3토큰/초, 중앙값 초안 디코딩 124.4토큰/초를 달성한다.
  • 컴파일러는 MIT 라이선스로 공개되며, CLI(lamq) 또는 Python API로 사용 가능하고 로컬 모델이나 허깅페이스에서 로드할 수 있다.
  • SmolLM2-360M 측정은 L40S에서 약 50분 걸렸고, 양자화 후 위키텍스트-2에서 perplexity 16.64와 KL 0.0926을 기록했다(원본 15.31).
  • DSpark 4비트 초안 모델은 M5 Max에서 1.2GB 파일 생성 속도를 1.5~2배 향상시키며, 체크당 평균 4.3토큰을 유지하고 비용은 $42였다.
  • 최근 개선사항으로 Softmax-Fisher 토큰 테이블 순위 지정과 중간 학습 등분 행 재할당이 추가되어, Qwen3.5-4B에서 위키텍스트-2 KL이 9.0% 개선되고 13개 언어 KL이 15.5% 개선되었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗