Hugging Face 논문AI · 머신러닝오늘의 주요

매개변수 사전활용으로 멀티티처 증류 2배 빠르게

원제 P^2-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors

추천 62댓글 8Sinuo Wang, Jiacheng Lu, Zeyu Zhang 외
Key Point

멀티티처 증류에서 훈련 단계를 50% 단축하고 최종 성능을 14% 향상시키는 방법이 제시되어, 대규모 모델 병렬화 연구에 실질적 가치가 있다.

핵심 요약

  • 다중 전문가 모델의 능력을 학생 모델에 전이하는 온폴리시 증류(on-policy distillation)는 학생이 생성한 궤적을 감독하는 방식으로 작동한다.
  • 기존 태스크 산술(task arithmetic)은 학생과 전문가 매개변수를 선형결합하되 두 모델의 범위 내에만 머물게 되는 한계가 있다.
  • P²-MOPD는 학생과 전문가 매개변수의 선형결합을 하나의 미분가능한 모델로 보고, 혼합 계수와 학생 가중치를 동일한 목적함수 아래 공동 최적화한다.
  • P²-MOPD는 학생을 계속 훈련 가능하게 두므로 전문가가 매개변수 사전(prior)으로 작용하면서 모델을 그 범위 밖으로 탈출하게 한다.
  • 4가지 도메인의 1.7B 및 4B 규모에서 테스트한 결과, P²-MOPD는 MOPD와 같은 초기화에서 출발하되 더 빠르고 균형잡힌 복구를 달성했다.
  • P²-MOPD는 MOPD의 최종 성능에 도달하는 데 절반의 훈련 단계만 소요하며, 훈련 완료 후 1.7B 모델은 평균 94.7% 복구율을 기록했다(MOPD는 80.9%).
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗