소형 모델의 지속 학습을 위한 합성 자기 증류법
원제 Continually Post-training Small Models via Synthetic Self-distillation
추천 43댓글 2
Key Point
분포 편향이 소형 모델 학습 실패의 근본 원인이라는 발견과 이를 해결하는 구체적 기법이 온디바이스 AI 서비스 실현의 핵심 과제를 다룬다.
핵심 요약
- 소형 모델의 지속적 학습(continual post-training)은 새로운 능력을 습득하면서도 기존 지식을 보존해야 하는 이중 과제에 직면해 있다.
- 기존 자기 증류 미세조정(SDFT)은 문맥 내 학습과 명령 따르기 능력이 뛰어난 모델에서는 작동하지만, 저지연 온디바이스 실행이 필요한 소형 모델에서는 실패한다.
- 논문은 소형 모델에서 새로운 능력 습득 실패와 기존 지식 망각이 학습된 모델의 분포 편향과 선형 상관관계를 보여주며, 분포 내 학습의 필요성을 입증했다.
- 이를 해결하기 위해 합성 자기 증류(SynthSelf)를 제안하는데, 같은 계열의 약간 더 큰 정렬 모델에 분포 내 재작성 작업을 아웃소싱한다.
- 비정책 감독과 거부 샘플링을 결합하여 소형 모델의 원래 분포를 유지하면서도 고품질의 감독 신호를 제공한다.
- 4가지 습득 데이터셋(혼합 포함)과 14개 유지 벤치마크에서 SynthSelf는 3가지 소형 모델 규모에서 정책 외·내 증류 포함 6가지 방법을 지속적으로 능가한다.
- 광범위한 추가 분석은 SynthSelf가 소형 모델 지속 학습의 효과적인 방법을 제시함을 확인한다.