실패한 추론에만 교사 신호 적용, 코드·수학 성능 향상

핵심 요약

• 온-폴리시 증류(OPD)는 대형 언어모델의 학생 모델이 자신이 생성한 결과로 학습하는 방식으로 널리 쓰이지만, 토큰 수준의 국소적 최적화만 하고 전체 추론의 질을 고려하지 않습니다.
• 보상 기반 강화학습(RLVR, 특히 GRPO)은 전체 결과 수준의 지도를 제공하지만 희소 보상으로 인해 신용 할당이 입자합니다.
• 연구진은 두 방식의 한계를 분석했습니다: OPD는 밀집된 국소 신호를 주지만 정답률과 약하게 연관되고, GRPO는 작업 성공을 포착하되 토큰별 신용 할당이 정교하지 못합니다.
• DiffGate라는 목적함수를 제안하여 GRPO에 선택적인 교사 지도를 결합했습니다.
• 교사 신호는 실패한 궤적에만 적용되며, 그룹 난이도로 가중치를 조정하고 극단적 불일치를 방지하도록 경계가 설정됩니다.
• 검증기가 어느 궤적이 교사 지도를 받을지 결정하고, 교사는 그 궤적 내에서 토큰 수준의 밀집 업데이트 방향을 제공합니다.
• Qwen3-0.6B 및 1.7B 학생 모델에서 코드 avg@8은 GRPO 대비 각각 +1.7, +1.8포인트, pass@8은 +1.6, +5.7포인트 향상되었습니다.
• 수학 문제에서 avg@8은 GRPO와 0.5포인트 이내로 유지되면서 pass@8은 +1.1, +3.9포인트 개선되었습니다.
• DiffGate는 네 가지 모델-도메인 조합 모두에서 pass@8을 향상시켜 평가 프로토콜 하에서 더 나은 문제 해결 범위를 보여줍니다.