토큰마다 다른 선생님이 필요하다…다중 선생님 자가학습법
원제 Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
추천 13댓글 2
Key Point
대규모 언어 모델 학습의 자가학습 효율성을 토큰 단위로 최적화하는 새로운 방식으로, 수학 추론처럼 정밀한 감독이 필요한 작업에서 유의미한 성능 향상을 달성했다.
핵심 요약
- 기존 온폴리시 자가학습(OPSD)은 학습 중 선생님 모델을 고정하거나 응답 단위에서만 교사를 바꿔 사용해왔다.
- 연구팀은 토큰별로 선생님 선호도가 달라진다고 주장하며, 다수결 투표와 KL 기반 선택을 통해 각 토큰에 맞는 선생님을 식별할 수 있음을 보였다.
- 이를 바탕으로 다중 선생님 풀을 구성해 학습 중 각 토큰이 선호하는 선생님을 동적으로 선택하는 MTA-OPSD(다중 선생님 적응형 온폴리시 자가학습)를 제안했다.
- Qwen3 모델의 수학 추론 태스크 실험에서 MTA-OPSD는 기존 OPSD 방식보다 기본 모델 대비 평균 5.9점 이상 향상했다.
- 토큰 수준에서 선생님 감독을 적응시키는 것이 중요함을 보여주며, 코드는 깃허브에 공개되었다.