장기 강화학습에 Muon 옵티마이저 필수
원제 Long-Horizon RL Needs Muon
추천 13댓글 2
Key Point
장기 강화학습 작업에서 효율적인 학습을 위한 구체적인 옵티마이저와 훈련 기법이 필요하며, Muon 기반 레시피가 기존 방법보다 나은 성능을 달성했기 때문이다.
핵심 요약
- 장기 지평(long-horizon) 에이전트는 확장된 상호작용에서 추론, 도구 사용, 환경 피드백을 조율해야 한다.
- 희소 결과 보상에서 학습하려면 길이가 다른 궤적에 가중치를 부여하고 롤아웃이 진행 중일 때 정책을 업데이트해야 한다.
- 연구팀은 Muon, 토큰 평균 손실, 잘린 중요도 샘플링, 길이·도구 오류 보조 손실을 결합한 단일 롤아웃 비동기 레시피를 제안했다.
- 단일 롤아웃 샘플링은 같은 문제에 대해 여러 궤적을 기다리지 않고 비동기 학습을 가능하게 한다.
- 리포지토리 수준 이슈 해결 작업에서 두 개 모델 계열의 옵티마이저 선택과 레시피 구성요소를 연구했다.
- 평가 결과 전체 레시피를 사용할 때 기준선 대비 더 높은 훈련 성공률을 보였다.