개방형 RL 학습 과정을 자동으로 조정하는 HarnessRL 제안

핵심 요약

• 자연어 보상 기준을 사용한 개방형 생성 정책 학습(Rubric-based RL)은 훈련이 진행되면서 보상이 비효과적이 되는 문제를 겪는다.
• 점수가 균일하게 낮거나 높게 붕괴되는 비차별적 보상과 높은 점수가 실제 답변 품질과 맞지 않는 허위 보상이라는 두 가지 실패 양식이 존재한다.
• 이는 정책이 진화하면서도 작업 샘플링, 탐색, 평가 설정이 고정되어 있기 때문이다.
• HarnessRL은 작업 샘플링, 롤아웃 가이드, 루브릭 기준이라는 세 인터페이스를 통해 정책과 함께 진화하는 훈련 시간 하네스를 제안한다.
• 훈련 기간 메모리에서 작업 내 이력과 작업 간 증거를 유지하며, 진화기가 각 보상 실패를 해결할 수 있는 인터페이스에 귀속시킨다.
• 제안자와 적시 비평가 루프를 통해 현재 고정된 정책에 미치는 영향을 측정한 후에만 후보 업데이트를 수용하고, 거부된 것은 수정을 위해 반환한다.
• 의료·과학·작문·롤플레이·명령 따르기 다섯 영역을 포함한 Rubric-Mix-10k 벤치마크를 구축했다.
• 4B와 9B 모델 규모 모두에서 가장 강한 기준선보다 2.8~3.1점 향상되었으며, 최적 체크포인트까지 훈련 단계를 거의 절반으로 단축했다.