다중 보상 학습에서 각 보상을 관련 토큰에만 할당하는 방법
원제 Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
추천 56댓글 2
Key Point
언어모델 강화학습에서 여러 보상을 동시에 처리할 때 각 보상이 실제로 영향을 미치는 위치에만 효과적으로 할당하는 방식의 개선으로, 수렴 속도와 성능 모두를 높인다.
핵심 요약
- 언어모델은 도구 호출의 정확성·형식, 복잡한 지시의 개별 제약 등 여러 검증 가능한 보상으로 동시에 학습된다.
- 기존의 보상-분리 정규화(GDPO)는 각 보상을 따로 정규화해 보상 조합을 구별하지만, 각 검증기가 몇 위치만 확인함에도 모든 보상의 이점을 전체 응답에 균등하게 분산한다.
- 이 논문이 제안하는 MRTPO는 보상별로 검증기가 확인하는 정보를 이용해, 각 보상의 이점을 관련 토큰에만 할당한다.
- 추가 모델이나 토큰 수준 주석 없이, 각 보상에 대해 그 보상의 검증기 정보 유무로 응답을 재생성하고, 두 다음-토큰 분포 간 토큰별 Jensen-Shannon 거리로 각 토큰의 관련성을 측정해 이점을 재할당한다.
- Text-to-SQL, 다중 제약 지시 따르기, 도구 호출 작업에서 MRTPO는 비교 방법보다 더 빠르게 수렴하고 더 나은 성능을 달성한다.