결과값만으로 프로세스 감시 모델 자동 생성
Key Point
프로세스 감시 모델 학습의 최대 병목인 인간 주석을 없애고 결과값 라벨만으로 효과적인 단계별 검증 능력을 자동으로 유도할 수 있다는 것이 핵심이다.
핵심 요약
- Process reward models(PRMs)는 LLM의 중요한 구성요소인데, 인간의 단계별 주석이 확장하기 어렵고 몬테카를로 추정은 계산 비용이 크면서 정확도도 낮은 문제가 있다.
- TIPS(Thinking-Induced Process Supervision)는 결과값(정답 여부)만으로 생성형 PRM을 학습하는 강화학습 프레임워크로, 모델이 추론 과정과 단계별 레이블, 최종 결과값을 함께 생성한다.
- 보상은 예측 결과가 정답과 일치하는지 여부에만 의존하며, 그룹 상대 이점을 통해 전체 응답을 최적화한다.