강화학습 자기 증류로 언어모델 추론 능력 향상
원제 Function-Space Temporal Self-Distillation for Policy Optimization
추천 136댓글 2
Key Point
언어모델 훈련 효율성과 메모리 사용량을 동시에 개선하는 새로운 자기 증류 방식이 공개되어, 대규모 모델 개발 비용 절감에 관심 있는 연구자와 개발자가 참고할 만하다.
핵심 요약
- 언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다.
- 자기 증류는 보조 없는 정책과 피드백 기반 자기교사를 비교해 토큰 수준의 밀집된 지도를 제공하지만, 교사 모델이 학생과 함께 진화하면서 불안정한 목표와 추가 정규화의 필요성을 야기한다.
- 논문은 함수 공간 정책 최적화(FSPO)를 제안하며, 현재 특권화된 적응과 함수 공간 시간적 통합을 하나의 정책 프레임워크에서 결합한다.
- FSPO는 역사적 다음 토큰 분포를 희소하게 저장해 고정된 시간적 목표로 사용하므로 영속적인 교사 모델 없이 시간적 분리를 제공한다.
- 특권화된 불일치 보정으로 국소적으로 과대평가된 행동을 명시적으로 억제하고, 신뢰성 적응형 기반이 자기생성 증거가 반복적으로 실패할 때 참조 감시를 강화한다.
- 품질 및 커버리지 인식 시간적 메모리는 검증된 행동을 유지하고 특권화된 시연을 향상시킨다.
- 추론 및 도구 사용 벤치마크에서 FSPO는 5시간 훈련 예산 내 최고 평균 정확도를 달성했으며, 가장 강력한 기준선보다 약 4퍼센트 포인트 개선했다.
- Olmo3-7B-Instruct에서 메모리 피크를 약 70GB에서 56GB로 감소시켰다.