강화학습으로 큰 언어모델 키우기, 작은 선생도 가능하다

핵심 요약

• 강화학습이 대규모언어모델에 추론 능력을 부여할 수 있지만, 모델 크기가 다를 때 이 능력이 얼마나 전이되는지는 미명확했다.
• 연구팀은 정책 증류(on-policy distillation, OPD)의 스케일링 특성을 약한 선생-강한 학생, 같은 기반-다른 크기, 강한 선생-약한 학생 구조에서 분석했다.
• 초기 OPD 훈련 과정에서 일관되게 '유용한 전이(useful-transfer)' 단계가 나타나며, 이 구간에서 성능(gold score)은 학생의 KL 발산의 제곱근에 거의 선형으로 증가한다.
• 모든 약한 선생-강한 학생 조합에서 학생이 선생을 능가하는 최고 성능에 도달해, 작은 RL 전문가가 훨씬 큰 모델에 능력을 전이할 수 있음을 보였다.
• OPD 결과를 예측하기 위해 학생·선생 모델 크기와 선생 성능에 따라 최고 성능과 전이 구간의 기울기가 어떻게 스케일되는지 멱법칙으로 적합시켰다.
• 멱법칙 분석 결과 최고 성능은 학생 크기에 비슷할 때까지만 선생 규모의 증가로 개선되며, 같은 성능에서는 더 작은 선생이 더 나은 지도 가치를 제공함을 시사한다.
• 또한 약한 선생을 보강하는 OPD 변형과 정책 기반 지도의 정도가 스케일링에 미치는 영향도 함께 연구했다.