약한 모델과의 비교로 학생 모델 학습 개선
원제 On-Policy Distillation with Negative-Policy Rollouts
추천 17댓글 2
Key Point
학생 모델 학습에서 강한 교사만으로는 부족한 신호를 약한 모델과의 비교로 보완하는 새로운 접근 방식이 여러 조건에서 효과를 입증했다.
핵심 요약
- 온-폴리시 증류(OPD)는 학생 모델이 강한 교사 모델로부터 자신의 샘플에 대한 토큰 수준 감독을 받는 사후 학습 방법이다.
- 기존 OPD 연구들은 증류 보상 공식이나 교사 구성을 개선해왔으나, 교사와 학생 간의 분포 중복이 낮을 때 긍정적 신호만으로는 학습이 부족할 수 있다.
- 논문은 음수 정책 온-폴리시 증류(NP-OPD)를 제안하는데, 낮은 성능의 음수 정책으로부터 생성한 샘플을 추가하여 학생 모델의 부정적 참조점을 제공한다.
- NP-OPD는 증류 보상 공식을 수정하지 않고 샘플 생성 단계에서 음수 정책을 도입하여, 학습 전체 과정에서 교사 감독을 유지하면서 음수 신호를 제공한다.
- 광범위한 실험 결과 NP-OPD는 다양한 모델 규모, 생성 방식, 추론 도메인, OPD 변형에서 기존 OPD를 개선했다.
- 분석에서 NP-OPD는 음수 정책이 선호하는 토큰을 효과적으로 억제하고 학생 모델을 음수 정책으로부터 멀어지게 하는 것을 보여준다.