Hacker NewsAI · 머신러닝

알슬로스 Qwen3.8-27B 양자화 기술, 정확도 5~10% 향상

원제 Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update

124 포인트댓글 28
Key Point

로컬에서 대규모 언어 모델을 실행하려는 개발자에게 5~10% 정확도 향상 기술과 구체적인 하드웨어 요구사항·설정값이 제시되었다.

핵심 요약

  • 알슬로스(Unsloth)가 Qwen3.8-27B를 위한 새 양자화 기술 Dynamic V3.1을 발표했다.
  • Dynamic V3.1은 기존 Dynamic 버전 대비 평균 정확도를 5~10% 향상시키며, Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6 등 다양한 벤치마크에서 개선 효과를 확인했다.
  • Qwen3.8-27B는 27B 파라미터 모델로 256K 컨텍스트 윈도우와 비전·추론 능력을 갖추고 있으며, 17GB RAM/VRAM 환경에서 로컬 실행 가능하다.
  • GGUF, NVFP4, Unsloth Desktop 등 여러 포맷으로 실행할 수 있으며, 코딩·비전·채팅 작업에 최적화되어 있다.
  • Exllama-v3과의 비교에서 알슬로스는 임베딩 레이어 처리 방식의 차이를 지적하고, GSQ-RCO의 벤치마크 결과가 컨텍스트 길이 96K 조건에서만 우월함을 분석했다.
  • ISTA의 AIME25 벤치마크 100% 정확도 회복 주장에 대해, 알슬로스는 14번 반복 실행 시 평균 93~96% 회복률을 기록했으며 그리디 디코딩 사용의 문제를 지적했다.
  • KLD(쿨백-라이블러 거리) 분석에서 UD3.1은 대부분의 도메인과 양자화 레벨에서 기존 UD3보다 개선되었으며, 3비트 모델은 정확도 향상이 미미해 미업데이트했다.
  • Qwen3.8-27B 4비트 양자화는 16~19GB VRAM에서 실행되며, RTX 5080, 4090, 24GB RAM Mac에서 작동한다.
  • 모델은 '생각' 모드와 '지시' 모드로 나뉘며 기본 설정이 다르고, reasoning_effort로 추론 깊이(xhigh/medium/low)를 조절 가능하다.
  • NVFP4 양자화는 엔비디아 블랙웰 GPU(RTX 50X, DGX Spark, B200, B300)에서만 작동하며 BF16 대비 1.4~1.5배 빠르고 92~97% 정확도 유지 성능을 보인다.
  • vLLM에서 NVFP4 실행 시 1.89배 배치 사이즈에서 133.7 토큰/초를 달성하며, KLD 평균은 도메인별로 0.012~0.058 수준이다.
  • Qwen3.8-2.4T-A95B는 2.4T 파라미터(95B 액티브)로 1비트 Dynamic GGUF가 4.9TB 원본을 91% 압축한 397GB 크기이며, 450GB RAM 이상 필요하다.
  • 알슬로스는 IQ1_S(1.5625비트)를 1.1875비트로 확장한 새 데이터 타입을 추가했으며, 양자화 인식 학습 없이도 큰 모델에 효과적임을 확인했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗