LLM 에이전트 강화학습, 턴 단위 신용할당으로 최적화
원제 Multiscale Policy Optimization for Long-Horizon LLM Agents
추천 381댓글 4
Key Point
LLM 에이전트의 장시간 작업에서 어디에 책임을 할당할지 판단하는 방식을 개선함으로써, 복잡한 추론 작업에서 강화학습 효율을 높일 수 있기 때문이다.
핵심 요약
- 장시간 작업을 수행하는 LLM 에이전트는 환경과 상호작용하며 각 행동을 토큰 단위로 생성한다.
- 현재 방식에서 비평가(critic) 값이 주로 턴(turn) 간에 변화하는 것을 발견했다.
- 이에 따라 턴 단위에서 최적화하면서 토큰 간 신용할당을 세밀하게 조정할 필요가 있다.
- Multiscale Policy Optimization(MPO) 방법을 제안했으며, 이는 Multiscale Advantage Estimation(MAE)과 턴 수준의 중요도 샘플링을 결합한다.
- MPO는 신용할당과 정책 업데이트를 턴 스케일로 정렬한다.
- 검색, 도구 사용, 자동화 작업에서 4B 및 30B-A3B 모델로 광범위한 실험을 진행했다.
- MPO는 강화학습 기반 비교 모델들보다 일관되게 성능이 우수했다.