LLM 강화학습의 훈련-추론 괴리, 근원과 해법
원제 On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
추천 10댓글 1
Key Point
LLM 강화학습에서 훈련과 추론의 괴리가 발생하는 근본 원인을 규명하고, 모델 성능 저하를 방지하는 실질적 보정 방법을 제시하므로 프로덕션 LLM 훈련에 직접 적용할 수 있다.
핵심 요약
- LLM의 온폴리시 강화학습에서는 훈련 시 샘플링 엔진과 그래디언트 계산 모듈이 분리되어 있어, 현재 정책이 아닌 과거 정책에서 샘플링된 오프폴리시 데이터가 발생한다.
- 이 훈련-추론 괴리는 두 가지 원인에서 비롯된다: 샘플링 엔진의 수치적 오류와 비동기 샘플링으로 인한 가중치의 지연이다.
- 한 가지 원인에 대한 보정이 다른 원인에서는 실패하는 문제를 해결하기 위해, 논문은 괴리의 원인에 따라 어떤 보정이 필요한지 규명한다.
- 트레이너를 샘플러의 가중치 시점에서 평가하면, 각 토큰의 오류를 엔진의 수치적 불일치와 트레이너의 정책 지연으로 정확히 분리할 수 있다.
- 수치적 불일치는 훈련 과정에서 거의 일정하게 유지되므로, 각 접두사에서 스코어를 중심에 맞춰 그 주도 편향을 제거할 수 있다.
- 정책 지연은 트레이너 자신의 업데이트에서 발생하며, 이전 업데이트에서 남은 편향이 다음 지연을 키우는 피드백 루프를 만든다.
- 중요도 가중치 조정은 지연 비율이 집중된 동안만 이 루프를 차단하고, Qwen3-1.7B 모델에서 유효 샘플 크기가 0.5 이하로 떨어지는 시점에 실패한다.
- 이를 바탕으로 논문은 불일치-지연 보정(DLC)을 제안한다: 수치적 불일치를 중심에 맞추고, 지연 비율을 샘플러 가중치에 대해 클리핑하며, 유효 샘플 크기가 0.5 이하로 떨어질 때 샘플러를 재동기화한다.
- DLC는 지연된 샘플러 환경에서 Qwen3-0.6B와 Qwen3-1.7B 모델에서 KL 발산을 독립적인 온폴리시 훈련 간 KL의 2배 이내로 유지한다.
- 토큰별 보정으로는 감지하지 못하는 붕괴를 DLC의 재동기화가 방지하며, 샘플러 접두사에서 측정한 KL은 이를 탐지하지 못한다.