PPO의 가치 함수 추적 개선, 수학 추론 성능 7~8점 향상
원제 TPPO: Tracking-Value PPO For Language Model Reasoning
추천 71댓글 1
Key Point
강화학습 기반 언어 모델 추론에서 가치 함수의 정확성이 직접적으로 성능을 좌우하는데, 이 방법이 표준 PPO를 크게 능가하는 수학 추론 성능 향상을 보여준다.
핵심 요약
- 언어 모델 추론용 강화학습에서 널리 쓰이는 PPO는 희소 종료 보상(sparse terminal rewards) 환경에서 표준 비평가(critic)가 값의 진화를 제대로 추적하지 못한다는 문제를 가지고 있다.
- 논문은 연속된 접두어(prefix) 값들 사이의 관계를 분석하고, 이들이 로그-오즈 공간(log-odds space)에서 덧셈 갱신으로 이루어진 베이지안 분해를 허용함을 보였다.
- 이 덧셈 구조를 이용해 추적-가치 PPO(TPPO)를 제안하는데, 위치별 스칼라 출력값들을 누적해 가치 로짓(value logits)을 형성하고 재구성된 값들을 통한 종료 결과 지도학습으로 학습된다.
- Qwen3-4B-Base와 Qwen3-8B-Base 모델에서 표준 PPO 대비 수학 추론 점수가 각각 7.0점, 8.4점 향상되었으며, 분포 외 일반화(out-of-distribution generalization)도 개선됐다.
- 개선 효과는 Qwen3-4B, Qwen2.5-Math-1.5B, Qwen3.5-9B 등 다양한 모델에서 일관되게 나타났고, 카운트다운 및 과학 코딩 과제에도 적용된다.
- 추가 분석 결과 값의 진화 추적이 더 정확하고 이득 추정(advantage estimation)이 더 신뢰할 수 있음을 확인했으며, 코드는 공개되었다.