다중 보상 학습에서 각 보상을 관련 토큰에만 할당하는 방법
Key Point
언어모델 강화학습에서 여러 보상을 동시에 처리할 때 각 보상이 실제로 영향을 미치는 위치에만 효과적으로 할당하는 방식의 개선으로, 수렴 속도와 성능 모두를 높인다.
핵심 요약
- 언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다.
- 기존의 보상-분리 정규화(GDPO)는 각 보상을 따로 정규화해 보상 조합을 구별하지만, 각 검증기가 몇 위치만 확인함에도 모든 보상의 이점을 전체 응답에 균등하게 분산한다.
- 이 논문이 제안하는 MRTPO는 보상별로 검증기가 확인하는 정보를 이용해, 각 보상의 이점을 관련 토큰에만 할당한다.