여러 RL 교사 모델의 신호가 학생 파라미터에 미치는 영향 분석
원제 From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation
추천 13댓글 2
Key Point
여러 교사 신호를 결합할 때 손실 평균화, 옵티마이저 동작, 정밀도가 최종 성능에 미치는 구체적인 영향을 분석한 결과로, LLM 증류 설계의 의사결정 근거를 제시한다.
핵심 요약
- Qwen3-1.7B 학생 모델과 같은 초기화에서 훈련한 4개 도메인 RL 교사들로부터의 다중 교사 온폴리시 증류(MOPD) 과정에서 그래디언트, 옵티마이저 업데이트, 태스크 학습 곡선을 비교 분석했다.
- 손실 평균화는 응답 길이를 기반으로 암묵적 가중치를 부여하는데, 토큰 평균화는 긴 응답을 선호하고 도메인 기여도 균등화도 도메인 내에서 이 가중치를 유지한다.
- Adam 옵티마이저의 1차 모멘트는 파라미터 업데이트의 차이를 감소시켜, 원본 그래디언트에는 차이가 있지만 교사 간 코사인 유사도 0.83, 평균화 규칙 간 0.96을 보인다.
- BF16 반올림은 작은 변화를 감춘다: FP32 마스터 가중치의 약 97%는 초기화에서 변하지만, BF16 가중치는 7~11%만 변한다.
- 상위 64개 교집합 KL 그래디언트는 Qwen의 전체 어휘 그래디언트와 closely match하지만, 태스크 성능에 미치는 영향은 평균화 방식에 따라 달라진다.
- 수학 정확도는 응답 평균화 하에서 샘플 토큰 정책 그래디언트 대비 2.6포인트 높고, 글로벌 토큰 평균화 하에서는 2.1포인트 낮다.