LLM 에이전트 강화학습의 신용 할당 문제 해결한 ProAS 프레임워크
원제 ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
추천 26댓글 2
Key Point
다단계 추론이 필요한 LLM 에이전트의 강화학습 효율성을 크게 개선하는 방법론이 제시되어, 언어 모델 기반 자동화 시스템의 성능 향상에 직결된다.
핵심 요약
- LLM 에이전트 최적화에 쓰이는 강화학습에서 GRPO 같은 무비평가 알고리즘은 모든 행동에 같은 수준의 이점을 부여하는 균일 신용 할당의 근본적 한계를 가진다.
- 이 접근 방식은 선호되는 궤적에서 구조적으로 비합리적인 행동을 강화하고, 비선호 궤적에서 각 행동의 하위 편차를 무시한다.
- ProAS는 동적으로 진화하는 에이전틱 레퍼런스 그래프(ARG)를 활용해 비합리적 인센티브 마스킹(MUI)과 비대칭 페널티 재배분(APR)을 통한 세밀한 신용 할당을 구현한다.
- Qwen2.5-1.5B-Instruct와 Qwen2.5-7B-Instruct로 평가 결과, ALFWorld에서 각각 91.9%, 94.3%의 성공률을, WebShop에서 각각 66.7%, 70.8%를 달성했다.
- 기존 그룹 기반 기준 알고리즘 대비 훈련 수렴을 최대 2.44배 가속화하면서도 불완전하거나 증류된 ARG에 대해 강건성을 유지한다.