언어 모델 자가증류, 체계적 프롬프트로 추론 질 높인다

핵심 요약

• 대규모 언어모델을 학습할 때 같은 모델의 교사 버전으로부터 지도를 받는 자가증류(OPSD) 방식이 있습니다.
• 교사는 정답 같은 특권정보(PI)를 조건으로 받지만, 학생은 이를 보지 못한 채 교사의 토큰 분포로부터 학습합니다.
• 하지만 특권정보는 깊은 검증 없이 지름길 추론으로 편향되는 문제가 생기며, 출력 분포의 엔트로피가 급격히 떨어집니다.
• 연구팀은 시스템 프롬프트를 이용해 교사가 특권정보를 사용하는 방식을 조절하는 자가증류 방식(VRSD)을 제안했습니다.
• 이를 통해 재고찰과 탐색을 유도해 성급한 결정을 막도록 설계했습니다.
• 이론적으로 프롬프트가 특권정보의 영향을 약화시킨다고 모델링하고, 엔트로피 보존 조건을 도출했습니다.
• 3개 모델과 4개 작업에 걸쳐 테스트한 결과, VRSD는 12개 모델-작업 조합 중 11개에서 OPSD보다 Pass@1 점수를 평균 3.9%포인트 개선했습니다.
• 토큰 엔트로피도 일반적으로 더 높은 수준을 유지했습니다.