RL 학습 과정의 중간 체크포인트로 정책 이동 검증하기
원제 Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
추천 668댓글 4
Key Point
강화학습으로 개선된 모델의 지식을 효율적으로 전이할 때 단순히 최종 결과만 보는 게 아니라 학습 과정의 일관성을 검증해야 더 좋은 결과를 얻을 수 있다.
핵심 요약
- 기존 정책 이동 증류(policy-shift distillation)는 강화학습으로 학습한 교사 모델의 초기-최종 로짓 차이만 학생에게 전달하는데, 이는 학습 과정 중 행동 선호도가 일관되게 변했는지 알 수 없다.
- 같은 최종 변화라도 초기와 후기의 이동이 서로 상쇄될 수 있어 신뢰할 수 없다.
- Waypoint-OPD 방법은 교사 모델의 중간 체크포인트를 사용해 초기(시작→중간)와 후기(중간→최종) 정책 이동을 비교한다.
- 학생이 방문한 프리픽스에서 두 이동이 같은 방향을 가리킬 때만 최종 변화를 사용하고, 반대 방향이면 억제한다.
- 기존 방식 대비 추가 비용은 미미하며(고정된 교사 모델 하나 재실행만 필요), 새로운 채점 패스가 1번 더 필요하다.
- Qwen3-4B 교사로 학습한 뒤 Qwen3-8B, 14B, 30B-A3B 학생들에게 Waypoint-OPD를 적용했다.
- 수학 추론과 코드 추론 두 영역, 학생 모델 6가지 조합 모두에서 비교 증류 방법 중 최고 성능을 달성했다.
- Qwen3-8B 학생으로 한 제거 실험 결과, 게이팅 메커니즘을 제거하거나 순서를 섞으면 수학 추론 성능이 하락한다.
- 결론적으로 초기-후기 정책 이동의 방향 일치도를 최종 변화 가중치로 사용하는 방식이 학생 훈련에 효과적임을 보여준다.