다른 토크나이저 간 증류학습, 정확도는 적은 정보로도 충분하다

핵심 요약

• On-Policy Distillation(OPD)은 학생 모델이 자신의 생성 결과에 대해 교사 모델의 피드백을 받아 학습하는 방식이며, 다른 토크나이저를 쓸 때는 시퀀스와 어휘 레벨에서 정렬이 필요하다.
• 수학 추론과 코드 생성 과제에서 3개 교사-학생 쌍을 실험한 결과, 어휘 불일치가 크더라도 엄격한 1:1 정렬만으로도 학생이 생성한 대부분의 토큰을 커버했다.
• 학생이 증류 전에 샘플링한 응답에서 공유 어휘는 엄격히 정렬된 위치에서 교사와 학생의 확률 질량 거의 전부를 유지했다.
• 학생이 선택한 공유 어휘의 상위 16개 부분 집합으로만 역 KL 손실을 제한해도 전체 공유 어휘 OPD와 비슷한 정확도를 달성했고, 평가한 기존 방식들을 앞질렀다.
• 스팬 로그 확률에 평균제곱오차 감독을 추가하면 정렬 범위를 완전히 커버할 수 있지만 오히려 정확도를 떨어뜨렸다.
• 엄격한 손실만으로 학습한 체크포인트에서 스팬 그래디언트는 엄격한 그래디언트와 약한 또는 음의 방향 일치를 보였고, 크기는 점점 커졌다.
• 이러한 진단 결과는 정렬 범위를 최대화하는 것보다 감독의 신뢰성을 우선하는 것이 중요함을 시사한다: 엄격한 위치의 간결한 감독이 약하게 정렬되거나 상충하는 훈련 신호를 만드는 광범위 범위보다 더 효과적일 수 있다.