정책 증류의 명암: 보상 모델 신뢰도가 붕괴 결정한다
원제 Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
추천 29댓글 2
Key Point
온-정책 증류의 성능 향상과 붕괴가 동시에 일어나는 원인을 규명하고 실질적인 완화 방법을 제시해 언어 모델 학습의 숨은 위험을 드러낸다.
핵심 요약
- 온-정책 증류(OPD)는 언어 모델 사후 학습의 중요한 방식으로 성능을 향상시키지만, 지나치게 길고 반복적인 생성으로 붕괴될 수 있다.
- 연구팀은 강화학습 관점에서 이 현상을 설명한다: 교사 모델이 자신이 거의 생성하지 않는 학생 행동까지 암묵적으로 보상한다.
- 암묵적 보상 모델이 신뢰할 수 있을 때 OPD는 올바른 응답을 더 쉽게 샘플링하게 만든다.
- 그러나 선호도가 품질과 맞지 않을 때는 보상 해킹이 발생한다: 암묵적 보상 모델이 교사 모델 자신은 거의 생성하지 않는 과도하게 길고 반복적인 학생 출력을 증폭시킨다.
- 실험 결과 학습 중 부정적 응답을 마스킹하거나 SFT 초기화를 사용하면 붕괴를 효과적으로 완화할 수 있다.
- OPD는 교사 모델의 암묵적 피드백이 선호하는 학생 행동을 증폭시키므로, 교사의 생성 능력보다 학생 출력 평가의 신뢰성에 초점이 이동해야 한다.