오프라인 학생 모델로 증류하는 것이 더 효과적인 경우가 많다
원제 When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
추천 18댓글 3
Key Point
증류 훈련의 핵심 선택지인 온폴리시 방식의 효과성을 재평가하는 논문으로, 더 간단하고 빠른 오프라인 방식이 많은 경우 더 나은 결과를 주는 상황을 규명한다.
핵심 요약
- 온폴리시 증류(OPD)가 교사 모델의 능력을 학생 모델에 전달하는 방식으로 널리 쓰이지만, 초기 학생 모델로 생성한 오프라인 롤아웃에서 증류하는 Semi-OPD가 많은 경우 OPD보다 우수한 성능을 보인다.
- 1.5B부터 235B 파라미터까지 17개의 교사-학생 쌍을 테스트한 결과, 14개 경우에서 Semi-OPD가 OPD를 능가했으며, 정확도 최대 13.6% 향상과 11.4배 훈련 속도 향상을 달성했다.
- 두 방식 중 어느 것을 선택할지는 교사와 학생의 정렬도에 따라 결정되며, 출력 토큰 겹침 비율로 측정할 수 있다.
- 교사와 학생이 높은 겹침 비율로 잘 정렬되어 있을 때만 OPD가 유리하고, 정렬이 맞지 않는 쌍에서는 학생 롤아웃이 컨텍스트 길이가 증가할수록 교사 기준으로 갈수록 오프폴리시가 되어 증류 신호가 약해진다.
- 효과적인 증류는 학생과 교사 양쪽 모두에 대한 온폴리시성이 필요하며, Semi-OPD는 더 짧은 컨텍스트에서 증류하면서도 전체 궤적을 커버하고 학생을 교사가 선호하는 토큰에 더 많이 노출시켜 더 안정적이다.