LLM 정책 학습의 동기화 문제를 푸는 KLPO 프레임워크

핵심 요약

• LLM 에이전트의 비동기 강화학습에서 이전 버전으로 생성한 궤적을 현재 정책으로 학습하는 과정에서 샘플러와 트레이너의 확률 분포가 달라지는 문제를 다룬다.
• 기존 방식(클리핑이나 GRPO)은 편향을 초래하거나 긴 에피소드에서 계산 비용이 크다는 문제가 있다.
• 저자들은 KL-정규화 정책 최적화(KLPO)를 제안하며, KL 정규화 항을 샘플러 확률에 고정해 중요도 가중치 없이 직접 최적화할 수 있게 한다.
• 정규화된 개선 스텝은 닫힌 형태의 깁스 해를 가지며, 로그 비율 최적성 조건을 최소제곱법으로 피팅한다.
• 회귀 절편을 소거하면 다루기 어려운 로그 분할 함수가 신호의 샘플러 평균과 샘플러-트레이너 KL 발산으로 대체된다.
• 토큰 단위 정책 미러 강하 목표에서 비평가 없이 말단 보상만으로 그래디언트를 계산할 수 있으며, 확률적 도구 출력 상황에서도 작동한다.
• KL 항의 독립적인 몬테카를로 추정이 그래디언트를 불편향하게 유지하고, 저비용 근사(top-K, 이진)의 정확한 KL 간극을 유도한다.
• SPPO, GPO, REBEL, BPO가 KLPO의 특수한 경우로 나타나며, 프롬프트당 하나의 롤아웃으로 응답 그룹이나 학습된 정규화 함수 없이도 작동한다.