학생 모델이 만든 문장을 선생 모델이 계속쓰며 학습
원제 Learning from Teacher Continuations at Student States
추천 23댓글 1
Key Point
온라인 학습과 오프라인 증류의 한계를 동시에 해결하는 새로운 증류 방식이 기존 방법 대비 더 나은 성능을 달성하는 방법론을 제시하기 때문이다.
핵심 요약
- OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다.
- 각 반복 단계에서 학생 모델이 프리픽스를 생성하고, 선생 모델이 자동회귀로 이를 이어쓰며, 선생이 생성한 토큰에 대해 교차 엔트로피로 학생을 업데이트한다.
- 기존 증류 방법의 세 가지 제약을 해결한다: 고정된 선생 궤적으로 학습할 때의 순차적 공변량 시프트, 프리픽스 실패 시 단편적 감독, 선생의 토큰 확률값 접근 필요성.
- OLIVE는 토큰 수준 온정책 증류(OPD, 상위 16개 KL 근사 포함)보다 높은 추론 성능을 같은 GPU 시간 비용으로 달성한다.
- 비동기 구현으로 총 학습 시간을 23.8% 단축했다.
- 어려운 추론 작업과 에이전트 작업 모두에서 같은 학습 예산 내에서 기존 방법을 지속적으로 능가한다.
- 학생 모델의 진화된 프리픽스를 재생성함으로써 오프라인 증류가 정체된 후에도 계속 개선되며, 일반 능력과 가소성을 더 잘 유지한다.
- GPT-3.5-mini 텍스트만 사용해 OLIVE로 지속적 학습할 때 같은 선생으로 한 오프라인 SFT보다 ScienceWorld에서 13% 성능 향상을 보인다.