학생 모델을 저렴하게 학습하려면 '오차 예산'이 필요하다
Key Point
학생 모델 지식 증류 시 비용 절감 기법들이 학습 안정성에 미치는 실제 영향을 정량 측정한 결과로, 양자화와 비동기 처리의 활용도를 크게 높일 수 있는 실용적 기준을 제시한다.
핵심 요약
- On-policy distillation(OPD)은 학생 언어 모델을 자신의 응답으로 학습시키는데, 응답 생성 비용을 줄이기 위해 양자화와 비동기 롤아웃을 사용한다.
- 그러나 이 두 기법은 롤아웃 엔진과 학습 중인 모델 사이에 training-inference mismatch를 일으킨다.
- 본 연구는 OPD가 얼마나 많은 mismatch를 견딜 수 있는지, 어디서 문제가 발생하는지, 실제 시스템이 이를 어떻게 활용할 수 있는지를 조사했다.