학생 모델이 생성한 질문을 자동으로 최적화해 증류 학습 개선
원제 Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
추천 17댓글 2
Key Point
학생 모델이 생성한 합성 데이터만으로도 실제 데이터와 같은 수준의 증류 학습 효과를 얻을 수 있으며, 정답이나 보상 없이도 질문 품질을 자동 최적화하는 방법을 제시해 데이터 수집 비용을 크게 줄일 수 있다.
핵심 요약
- 온-폴리시 증류(OPD) 기법에서 적은 수의 학습 질문만으로도 효과적인 결과를 얻을 수 있다는 발견이 동기가 되어, 질문을 분포적 지식 전달의 매개체로 봄.
- 새로 생성한 질문이 증류 학습에 가치 있는지 평가하되, 정답에 접근하지 않고도 더 나은 질문을 자동 생성하는 'Ask-to-Distill' 프레임워크를 제시.
- 학생 모델 기반의 합성 엔진을 학생과 교사의 불일치도, 교사 확률 질량, 길이·다양성 제어를 결합한 분포적 대리 지표로 최적화.
- 생성된 질문을 필터링·중복 제거해 표준 OPD용 프롬프트 뱅크로 사용하며, 별도의 정답 참조나 보상, 후보별 학생 업데이트가 필요 없음.
- 수학 추론, 코드 생성, 에이전트 작업 등에서 최적화되지 않은 학생 생성 질문과 KL 필터링된 실제 질문 대비 평균 성능 개선.
- 실제 질문 뱅크를 사용한 OPD와 비교해 동등하거나 우수한 결과를 달성하며, 최적화된 질문이 짧은 학생 응답에서도 더 조밀한 감독과 총 신호를 유도함을 확인.
- 코드, 데이터, 모델이 GitHub에서 공개됨.