강화학습의 그래디언트 기아 현상 해결하는 ReSPO 논문
원제 ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
추천 12댓글 2
Key Point
강화학습 모델 훈련에서 정책 최적화 과정의 근본적인 문제를 진단하고 이를 해결하는 새로운 알고리즘을 제시하여, 특히 데이터 재사용 효율성이 중요한 LLM 훈련에 직접 적용될 수 있기 때문이다.
핵심 요약
- 검증 가능한 보상으로부터의 강화학습(RLVR)에서 롤아웃을 여러 정책 업데이트에 걸쳐 재사용하면, 현재 정책과 데이터 생성 정책 간의 불일치가 심화된다.
- 기존 클리핑 기반 정책 최적화에서 '부호 의존 그래디언트 기아' 문제가 발생하는데, 이는 클리핑이 저중요도 가중치 영역의 미생성 긍정 응답을 억제하면서 동시에 고중요도 영역의 과도 생성 부정 응답이 지배하게 되는 현상이다.
- 연구팀은 ReSPO(Reshaped Sequence Policy Optimization)를 제안하는데, α-발산 변분 목적함수와 지수 분산 제어 틸트에서 파생된 부드러운 이중 분기 시퀀스 레벨 커널로 클리핑을 대체한다.
- 긍정 분기는 미생성 긍정 응답에 0이 아닌 그래디언트 가중치를 보존하고, 부정 분기는 심각하게 과도 생성된 부정 응답을 억제한다.
- ReSPO는 정책 드리프트로 인해 저중요도 가중치 영역에 위치한 경우에도 초기 훈련 단계에서 긴 긍정 추론 궤적으로부터 효과적으로 학습할 수 있음을 보인다.
- Dense 및 MoE Qwen3 모델에서 ReSPO는 초기 최적화를 가속하고, 최종 훈련 점수를 개선하며, 롤아웃 재사용 조건에서 높은 보유 벤치마크 성능을 달성한다.