강화학습 안정화하는 정규화 점수 중심화 기법 제안
원제 Regularized Score Centering
추천 14댓글 2
Key Point
대규모 언어 모델의 에이전트 태스크 성능을 개선하는 새로운 훈련 기법으로, 비동기 학습 환경에서의 불안정성 문제를 해결하는 실질적 해법을 제시한다.
핵심 요약
- 비동기 강화학습은 훈련 처리량을 높이지만 오래된 정책의 데이터와 훈련·추론 간 수치 불일치로 학습이 불안정해진다.
- 점수 중심화(SC)는 보상 베이스라인의 영향을 제거해 정책 외 학습을 안정화하는데, 학습자가 데이터 생성 정책에서 멀어지면 실패할 수 있다.
- 연구진은 역 쿨백-라이블러(KL) 페널티를 추가한 정규화 점수 중심화(RSC)를 제시해 학습자의 다음 토큰 분포를 행동 정책의 분포에 가깝게 유지한다.
- RSC는 절단된 중요도 샘플링(TIS)과 함께 또는 별도로 작동하며, 이론 분석은 KL 정규화가 수렴 보장을 개선함을 보인다.
- 수학 추론 및 에이전트 작업(온라인 쇼핑, 도구 사용, 게임, 비동기 소프트웨어 엔지니어링)에서 조밀 모델과 혼합 전문가 모델을 평가했다.
- RSC와 TIS는 모든 에이전트 벤치마크에서 샘플 효율성을 크게 향상시켜 같은 수의 샘플링된 응답으로 더 높은 훈련 보상을 달성했다.
- 최종 평가에서 6개 에이전트 작업 모두에서 최고 성능을 달성했으며, AppWorld에서 14.3% 개선, BabyAI에서 가장 강한 기존 방법 대비 9.9배 성능을 기록했다.