LLM 추론 안정성 높이는 새 학습 기법 제안
원제 Semifactual Credit-Augmented Policy Optimization
추천 37댓글 1
Key Point
토큰 수준의 미세한 신용 할당으로 LLM 추론 정확도를 5~6% 개선하는 새로운 학습 기법으로, 프롬프트 표현에 과민한 모델의 근본적 문제를 다룬다.
핵심 요약
- 대규모 언어모델의 추론 능력을 개선하는 검증 가능한 보상 강화학습(RLVR)이 있지만, 모델의 예측이 문제와 무관한 프롬프트 표현에 민감하게 반응하는 문제가 있다.
- 연구팀은 답을 유지하면서 프롬프트만 변경하는 반사실적 개입으로 이를 분석했고, 토큰 수준에서 큰 민감도 편차가 있으며 불안정한 토큰을 디코딩 중에 억제하면 모델 가중치를 업데이트하지 않아도 추론 정확도가 높아짐을 발견했다.
- 기존의 그룹상대정책최적화(GRPO)는 모든 응답 토큰에 동일한 이점을 할당하여 추론과 무관한 특성 의존성까지 강화할 수 있다는 한계가 있다.
- 이를 바탕으로 반사실적 신용할당정책최적화(SCAPO)를 제안했으며, 이는 반사실적 개입 하에서 토큰 확률 변화를 측정하고 정규화된 안정성 점수로 초기 훈련 중 불안정한 토큰의 이점을 감소시킨다.
- Qwen3-4B-Base와 Qwen3-1.7B-Base에서 SCAPO는 GRPO 대비 AIME 2024-2026 정확도를 각각 5.63%p, 4.17%p 개선했다.
- 두 모델 규모 모두에서 SCAPO는 평가된 대부분의 수학 벤치마크와 모든 분포 외 벤치마크에서 비교 대상 중 최고 성능을 달성했다.
- 코드는 GitHub에서 공개 중이다.