보상 해킹을 막는 정밀도 기반 강화학습
원제 Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
추천 50댓글 2
Key Point
강화학습 보상 함수 설계의 핵심 문제인 목적 왜곡(reward hacking)을 정밀도 메트릭으로 체계적으로 해결하는 방법이 의료·건강 등 신뢰도가 중요한 분야에서 큰 성능 개선을 보여주고 있다.
핵심 요약
- 루브릭 기반 강화학습은 검증 불가능한 작업에서 효과적이지만, 루브릭 커버리지의 가중치로만 보상을 정의해 재현율만 최대화하는 문제가 있다.
- 이로 인해 RL 학습 모델은 내용이 길고 불필요하거나 사실적으로 틀린 부분이 많아져 기본 모델보다 선호도가 낮아진다.
- 이를 해결하기 위해 FORK 보상을 제시하는데, 이는 재현율과 함께 정밀도 목적을 동시에 최적화한다.
- 정밀도 목적은 루브릭 기반 필요도 지표와 사실성 검증 도구로 모델 응답의 각 부분이 필요하고 사실적으로 정확한지를 측정한다.
- 실험 결과 FORK는 기존 루브릭 기반 RL 방법을 능가하며 루브릭 커버리지와 응답 품질의 파레토 최적 균형을 달성했다.
- 기존 재현율 기반 보상 대비 FORK는 정밀도를 크게 개선하고 응답 길이를 줄이면서 유사한 루브릭 커버리지를 유지한다.
- 의료 분야에서 기본 정책 대비 우승률이 10.6%에서 68.0%로, 건강 관련 벤치에서 22.1%에서 74.1%로 크게 향상되었다.