Hugging Face 논문AI · 머신러닝

강화학습 안정화하는 정규화 점수 중심화 기법 제안

원제 Regularized Score Centering

추천 14댓글 2Hao Bai, Chenlu Ye, Xuanchang Zhang 외
Key Point

대규모 언어 모델의 에이전트 태스크 성능을 개선하는 새로운 훈련 기법으로, 비동기 학습 환경에서의 불안정성 문제를 해결하는 실질적 해법을 제시한다.

핵심 요약

  • 비동기 강화학습은 훈련 처리량을 높이지만 오래된 정책의 데이터와 훈련·추론 간 수치 불일치로 학습이 불안정해진다.
  • 점수 중심화(SC)는 보상 베이스라인의 영향을 제거해 정책 외 학습을 안정화하는데, 학습자가 데이터 생성 정책에서 멀어지면 실패할 수 있다.
  • 연구진은 역 쿨백-라이블러(KL) 페널티를 추가한 정규화 점수 중심화(RSC)를 제시해 학습자의 다음 토큰 분포를 행동 정책의 분포에 가깝게 유지한다.
  • RSC는 절단된 중요도 샘플링(TIS)과 함께 또는 별도로 작동하며, 이론 분석은 KL 정규화가 수렴 보장을 개선함을 보인다.
  • 수학 추론 및 에이전트 작업(온라인 쇼핑, 도구 사용, 게임, 비동기 소프트웨어 엔지니어링)에서 조밀 모델과 혼합 전문가 모델을 평가했다.
  • RSC와 TIS는 모든 에이전트 벤치마크에서 샘플 효율성을 크게 향상시켜 같은 수의 샘플링된 응답으로 더 높은 훈련 보상을 달성했다.
  • 최종 평가에서 6개 에이전트 작업 모두에서 최고 성능을 달성했으며, AppWorld에서 14.3% 개선, BabyAI에서 가장 강한 기존 방법 대비 9.9배 성능을 기록했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗