언어모델 학습, 중간 계산 구조까지 모방하는 방식 제시
원제 OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
추천 11댓글 3
Key Point
출력 공간의 감독을 넘어 모델의 내부 계산 구조를 직접 전이하는 새로운 증류 방식으로, 학생 모델의 추론 능력과 학습 효율을 근본적으로 향상시키는 접근법입니다.
핵심 요약
- 기존 온폴리시 증류(OPD) 방식은 학생 모델이 자신의 정책에서 샘플한 접두사에 대해 출력만 감독하며, 교사 모델의 중간 계산 과정은 전이하지 못한다는 문제가 있다.
- 표현 매칭 같은 단순한 중간 계층 증류는 불충분한데, 교사와 학생의 표현이 기하학적으로 다를 수 있고 정렬된 은닉 상태도 학생의 후속 계산에 사용 불가능할 수 있기 때문이다.
- 연구진은 온폴리시 메커니즘 증류(OPMD)를 제안하여, 학생이 실제로 사용 가능하도록 교사 표현을 학생의 중간 상태로 변환하는 학생 호환 교사를 먼저 구축한다.
- 그 다음 온폴리시 궤적에서 이러한 상태들을 내재화하는 방식으로 중간 계산을 전이한다.
- OPMD는 세 가지 교사-학생 설정 모두에서 평가된 증류 기준선들 중 가장 높은 평균 정확도를 달성했으며, 다중 교사 증류와 교차 계열 지도 학습으로도 일반화된다.
- 메커니즘 감독은 더 효과적인 추론을 산출하고 학생의 중간 계산과 풀이 전략을 의미 있게 변화시켜, 출력 감독만으로는 전이 불가능한 정보를 전달함을 확인했다.