비평으로 실패를 바로잡는 학생 모델 훈련법
원제 Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
추천 76댓글 2
Key Point
학생 모델이 스스로 생성한 데이터로 훈련할 때 교사의 오류 인식 능력을 활용해 신뢰성 있는 감독 신호를 복구하는 방법으로, 수학 문제 해결 같은 복잡한 추론 작업의 모델 훈련 효율을 높인다.
핵심 요약
- 온-정책 증류(OPD)는 학생 모델이 생성한 텍스트에서 교사 모델의 토큰 수준 지도로 훈련하는 방식인데, 교사가 학생의 잘못된 시작점에서도 정답에 도달할 수 있다는 '회복성' 가정이 실제로는 실패한다는 점을 발견했다.
- 교사 모델이 학생의 오류를 인식하면서도 그 오류를 따라가는 문제가 발생하며, 이는 잘못된 답변으로 훈련하게 만든다.
- 이를 해결하기 위해 CriticOPD를 제안했는데, 교사가 오류가 있는 롤아웃을 비평하면 학생은 그 오류를 인식하고 해답을 다시 작성한다.
- 비평 정보는 교사의 채점에는 포함되지만, 학생 모델의 훈련에는 비평 없는 수정된 버전만 사용된다.
- Qwen3 학생 모델 2개와 6개의 수학 추론 벤치마크에서 CriticOPD는 기존 OPD보다 성능을 향상시켰으며, 특히 대회 문제에서 가장 큰 개선 효과를 보였다.