LLM 학습의 불안정성을 해결한 EasyPPO 알고리즘
원제 EasyPPO: Stabilizing the Critic Is Key
추천 28댓글 1
Key Point
LLM 정책 최적화에서 학습 불안정성을 체계적으로 진단하고 해결하는 방법이 실무적으로 의미가 있기 때문입니다.
핵심 요약
- PPO의 학습된 비평가(Critic)는 기댓값 추정과 정책 기울기 분산 감소에 효과적이지만, LLM 강화학습에서 불안정성의 주요 원인으로 작용한다.
- 논문은 두 가지 비평가 실패 모드를 지적한다: 첫째, 잘린 롤아웃(Truncated Rollout)을 액터와 비평가 모두에서 필터링하면 정책이 완료된 롤아웃에만 조건화되어 완료율이 떨어져도 보상은 증가할 수 있다. 둘째, 이질적 반환 노이즈가 특정 프롬프트의 손실을 지배한다.
- EasyPPO는 세 가지 개선책을 제시한다: 액터만 롤아웃을 필터링하되 비평가는 완료·미완료 모두를 학습하고, 각 프롬프트의 비평가 손실을 반환값의 표준편차 역수로 가중치 부여하며, 비평가 미니배치를 적당히 줄여 이상치의 영향을 제한한다.
- FrontierCS의 연속 보상 코딩, AIME24의 이진 보상 수학 문제, Search-R1의 다중 턴 검색에서 EasyPPO는 전체 학습 구간에서 안정적이며, 각각 vanilla PPO 대비 14.89%, 2.28%, 9.47%의 상대 성능 향상을 보였다.