학생 정책 궤적에 맞춘 교사 모델 적응 방식 제안
원제 On the Off-Policy Teacher in On-Policy Distillation
추천 15댓글 1
Key Point
온-폴리시 증류는 모델 사후 학습의 새로운 방식으로 주목받는데, 학생과 교사의 정책 분포 불일치 문제를 체계적으로 분석하고 해결하는 구체적 방법을 제시합니다.
핵심 요약
- 온-폴리시 증류(OPD)는 학생이 자신의 정책으로 생성한 궤적에서 교사의 감독을 받으며 학습하는 사후 학습 패러다임으로, 학생이 생성한 궤적은 학생에게는 온-폴리시이지만 교사에게는 오프-폴리시라는 근본적 비대칭성을 가진다.
- 교사는 자신의 정책으로 생성한 접두사에서 연속 생성하도록 최적화되어 있으나, OPD 중에는 학생이 생성한 접두사에서 감독해야 하므로 접두사가 길어질수록 성능이 저하된다.
- 이를 해결하기 위해 연구팀은 SCOUT(Student-COnditioned Updates of the Teacher)라는 공동 학습 프레임워크를 제안했다.
- SCOUT는 표준 OPD 업데이트와 함께 강화학습과 검증 가능한 보상을 사용하여 교사의 조건부 능력을 주기적으로 최적화하며, 교사가 학생이 생성한 접두사에서 연속을 생성하고 결과 보상에서 학습한다.
- 제어된 실험에서 SCOUT는 교사가 학생이 생성한 접두사에서 연속 생성하는 능력을 개선했다.
- 여러 교사-학생 구성, 모델 규모, 추론 영역에서 SCOUT는 온-폴리시 증류의 효과를 지속적으로 향상시켰다.