결과값만으로 프로세스 감시 모델 자동 생성
원제 Inducing Process Supervision from Outcome-Only Reinforcement Learning
추천 20댓글 2
Key Point
프로세스 감시 모델 학습의 최대 병목인 인간 주석을 없애고 결과값 라벨만으로 효과적인 단계별 검증 능력을 자동으로 유도할 수 있다는 것이 핵심이다.
핵심 요약
- Process reward models(PRMs)는 LLM의 중요한 구성요소인데, 인간의 단계별 주석이 확장하기 어렵고 몬테카를로 추정은 계산 비용이 크면서 정확도도 낮은 문제가 있다.
- TIPS(Thinking-Induced Process Supervision)는 결과값(정답 여부)만으로 생성형 PRM을 학습하는 강화학습 프레임워크로, 모델이 추론 과정과 단계별 레이블, 최종 결과값을 함께 생성한다.
- 보상은 예측 결과가 정답과 일치하는지 여부에만 의존하며, 그룹 상대 이점을 통해 전체 응답을 최적화한다.
- 중간 단계 검증이 최종 결과 판단에 도움이 되면, 더 정확한 단계 검증이 더 나은 최종 판단으로 이어져 더 높은 보상을 받을 수 있다는 직관에 기반한다.
- TIPS는 수학 벤치마크와 에이전트 벤치마크, 4가지 기본 모델군에서 검증되었다.
- TIPS-Qwen3-4B-Thinking-2507은 3,200개의 결과값 레이블 데이터만으로 ProcessBench에서 85.2 F1을 달성해, 평가 대상 모든 학습된 PRM과 GPT-5.4-Instruct, Claude-4.7-Opus 같은 강력한 프롬프트 기반 판사를 능가했으나 o1-mini보다는 낮다.
- 코드와 데이터는 GitHub에서 공개되었다.