정책 증류 학습, 분포 밖 일반화 능력 잃는다
원제 On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
추천 16댓글 2
Key Point
대규모 언어모델을 다중 교사로부터 학습시킬 때 학습 데이터 분포 내에선 우수하지만 그 외의 상황에서 성능이 급격히 떨어지는 핵심 문제를 실증적으로 규명했고, 개선 방안까지 제시했기 때문입니다.
핵심 요약
- 여러 교사 모델에서 능력을 통합하는 다중 교사 정책 내 증류(MOPD)가 학습 데이터 분포 내에서는 완벽에 가까운 성능을 보이지만, 분포 밖 일반화 능력은 크게 떨어진다.
- Qwen3 모델을 이용해 수학 추론, 코딩, 에이전트, 장문맥 이해 등 4가지 과제에서 성능을 평가한 결과, 분포 외(OOD) 성능이 기본 모델보다 2.45~16.25% 낮았다.
- 합성 작업에서는 MOPD가 분포 내 성능을 개선했으나, 구성된 작업의 분포 외 성능은 최고 성능 교사 모델보다 18.19~24.34% 뒤떨어졌다.
- 교사 모델의 능력과 데이터 커버리지가 주요 병목 지점이며, 이 두 가지를 함께 개선하면 분포 외 성능 저하를 제거할 수 있음을 확인했다.
- MOPD의 파라미터 업데이트는 강화학습 기준선보다 평균적으로 크기가 작고 스펙트럼이 집중되며, 공유 구조가 더 크다는 기하학적 분석 결과를 도출했다.
- 분포 외 성능 개선을 위해 기하학 기반 패칭과 기본 모델 보존 재생 방법을 제안했으며, 분포 내 성능을 대부분 유지하면서 분포 외 성능을 향상시켰다.
- 연구는 정책 내 증류를 통한 능력 통합에 명확한 한계가 있으며, 분포 밖 유지와 일반화를 명시적으로 지원하는 알고리즘 개발의 필요성을 제시했다.