Hugging Face 논문AI · 머신러닝

가중치 0.05% 삭제하는 것만으로 LLM 파인튜닝과 동급 성능

원제 The Surprising Effectiveness of Deleting Weights in LLM Post-Training

추천 21댓글 5Jack Lu, Zhenbang Yang, Mike Lasby 외
Key Point

매우 적은 수의 가중치만 제거해도 전체 파인튜닝 수준의 성능을 낼 수 있다는 발견은 LLM 적응 학습의 효율성을 크게 개선하며, 특히 지속적인 학습에서 이전 성능 유지와 모델 크기 최소화 사이의 오래된 문제를 동시에 해결한다.

핵심 요약

  • 트랜스포머 블록의 게이트 프로젝션에서 가중치의 0.05% 미만을 0으로 만드는 방식(Deletion Tuning)으로 전체 모델 파인튜닝(FFT)과 동등한 성능을 달성했다.
  • 강화학습 기반 보상, 감독형 파인튜닝, 온폴리시 증류 등 세 가지 LLM 포스트트레이닝 방식 모두에서 FFT와 같은 수준의 학습 결과를 얻었다.
  • 학습된 마스크는 대응하는 FFT 체크포인트보다 수백 배에서 수천 배 작으며, 연속 학습에서 중요한 과제인 이전 작업 망각을 크게 줄인다.
  • 강화학습 조건에서 Deletion Tuning의 이전 작업 정확도는 기본 수준에 가까운 반면, FFT와 LoRA, 무작위 희소 파인튜닝은 최대 5.4포인트 손실을 경험했다.
  • 안정 랭크(stable rank), 스펙트럼 드리프트, 주요 가중치 중첩도 분석 결과 Deletion Tuning이 LoRA와 무작위 희소 파인튜닝보다 FFT의 가중치 변화 기하학 구조에 더 가깝다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗