학생 모델을 저렴하게 학습하려면 '오차 예산'이 필요하다
원제 How Much Training-Inference Mismatch Can On-Policy Distillation Tolerate?
추천 13댓글 9
Key Point
학생 모델 지식 증류 시 비용 절감 기법들이 학습 안정성에 미치는 실제 영향을 정량 측정한 결과로, 양자화와 비동기 처리의 활용도를 크게 높일 수 있는 실용적 기준을 제시한다.
핵심 요약
- On-policy distillation(OPD)은 학생 언어 모델을 자신의 응답으로 학습시키는데, 응답 생성 비용을 줄이기 위해 양자화와 비동기 롤아웃을 사용한다.
- 그러나 이 두 기법은 롤아웃 엔진과 학습 중인 모델 사이에 training-inference mismatch를 일으킨다.
- 본 연구는 OPD가 얼마나 많은 mismatch를 견딜 수 있는지, 어디서 문제가 발생하는지, 실제 시스템이 이를 어떻게 활용할 수 있는지를 조사했다.
- 세 개의 student-teacher 쌍으로 양자화를 테스트하고, 한 쌍에서 가중치 노후화와 주입된 노이즈를 추가 테스트했다.
- OPD는 상당한 mismatch에서도 학습 품질 손실 없이 견디지만, 높은 수준에서는 성능이 저하되며, 이를 통해 경험적 mismatch 예산을 도출했다.
- Mismatch의 품질 비용과 양자화로 인한 mismatch는 모델에 따라 달라지며, 일부 레이어는 낮은 정밀도에 특히 민감했다.
- 제어된 비교에서 OPD는 RL 방법을 불안정하게 하는 롤아웃 설정에서도 안정적이었다.
- 가중치 노이즈 아래에서 mismatch는 생성 중 도달하는 prefix를 변경하여, 토큰별 보정이 해결할 수 없는 오류를 도입한다.
- 실제 적용을 위해 전체 학습 실행을 요구하지 않고 롤아웃 설정을 조정된 예산에 대해 검사하는 경량 승인 체계를 도입했다.
- 모델 특화 FP8 설정은 학습 품질을 유지하면서 BF16 대비 최소 1.93배 많은 KV-cache 토큰 용량을 제공한다.
- FP8과 비동기 롤아웃을 조합하면 동기식 BF16 학습 대비 1.62배 빠르게 같은 학습 품질에 도달한다.