LLM 매개변수 수정 없이 지식 이전하는 'UTT' 방법 제안
원제 Universal Textual Teaching for LLMs
추천 11댓글 2
Key Point
API 기반 또는 재학습이 비싼 LLM에도 적용 가능한 매개변수 무수정 지식 이전 방법으로, 해석 가능하고 재사용 가능한 형태의 교육 자료를 자동 생성할 수 있다는 점이 기존 증류 기법의 한계를 극복한다.
핵심 요약
- 지식 증류(KD)는 강한 교사 모델의 지식을 약한 학생 모델로 옮기지만, 기존 방법은 학생 매개변수를 학습해야 하므로 특정 구조와 체크포인트에 종속되는 문제가 있다.
- 연구팀은 매개변수 업데이트 없이 지식을 전달하는 'Universal Textual Teaching(UTT)'을 제안했으며, 교사와 학생의 차이를 자연어로 해석 가능한 'Primer'라는 재사용 가능한 형태로 증류한다.
- UTT는 먼저 쌍을 이룬 평가를 통해 대표적인 차이 사례들을 식별하고, 이후 다중 역할 상호작용으로 반복 업데이트한다: 학생이 과제를 시도하고, Prompter가 평가 피드백을 교수 지시문으로 변환하며, 교사가 대상화된 시연을 제공하고, Synthesizer가 검증된 교훈을 통합한다.
- KernelBench 코드 생성 작업에서 학생의 정확도가 9.4%에서 48.6%로, Fast1 정확도가 9%에서 35%로 상승했고, 수학 추론 정확도는 27.6%에서 51.7%로 향상되었다.
- UTT는 프롬프트 엔지니어링과 기존 매개변수 기반 KD 방법들보다 우수한 성능을 보였다.
- 한 교사-학생 쌍을 위해 합성된 Primer는 합성 과정에 참여하지 않은 다른 학생들에게도 일반화되는 특성을 보인다.