Hugging Face 논문AI · 머신러닝

LLM 자동 압축, 하드웨어 제약 직접 반영

원제 AutoCompress: Automated Hardware-Guided Model Compression

추천 11댓글 3Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan 외
Key Point

파라미터 수 기준이 아닌 실제 하드웨어 제약을 직접 최적화 목표로 삼아 서로 다른 기기에서 최적의 모델을 자동으로 찾아내는 방식이 기존 프루닝의 수동 시행착오를 근본적으로 바꾼다.

핵심 요약

  • LLM 프루닝은 모델 품질을 유지하면서 레이턴시, 처리량, 메모리 같은 하드웨어·워크로드별 제약을 동시에 만족해야 한다.
  • 기존 프루닝 방식은 파라미터 수 목표치를 정하고 실무자가 수동으로 모델 크기를 선택하는데, 파라미터 수만으로는 아키텍처·워크로드·하드웨어·서빙 엔진에 따라 달라지는 실제 성능 지표를 예측할 수 없다.
  • AutoCompress는 하드웨어 제약을 미분 가능 아키텍처 탐색에 직접 반영하는 압축 프레임워크로, 글로벌 및 레이어별 구조를 동시에 최적화하여 이질적 아키텍처를 생성한다.
  • 서빙 엔진 비용 모델을 활용해 최적화하며, 이 모델은 실제 엔드투엔드 레이턴시·처리량·메모리 측정값으로 검증된다.
  • 장문맥 로컬 코딩, 배치 데이터센터 서빙, 레이턴시 민감한 게임 내 상호작용 등 세 가지 시나리오에서 평가했다.
  • 최신 Minitron 프루닝 대비 RTX 5070에서 8개 벤치마크 평균 정확도 6.57%p, RTX 5080에서 2.35%p, H100에서 0.57%p 향상을 달성했다.
  • Nemotron 3.5 Super를 120B 파라미터에서 74B로 압축하여 단일 B200 BF16 서빙에서 128K 컨텍스트 지원 시 벤치마크 평균 점수의 95%를 유지한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗