형식검증으로 강화한 LLM 에이전트 학습, Lean4AgenticRL
원제 Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards
추천 13댓글 2
Key Point
기존 LLM 에이전트 학습에서 다단계 보상 검증을 도입해 실제 성능 향상을 입증한 사례로, 형식 검증이 강화학습 효과성을 높일 수 있음을 보여준다.
핵심 요약
- LLM의 에이전트 능력을 강화하기 위해 복잡한 소프트웨어 엔지니어링과 터미널 작업 문제를 풀어야 하는 상황에서, 기존 모델들은 고수준의 결과 보상에만 의존해 학습 효율이 낮았다.
- Lean4AgenticRL은 Lean4 형식화 체계에 다단계 프로세스 보상을 통합한 첫 번째 프레임워크로, 에이전트의 능력과 제어성 사이 균형을 맞추는 문제별 워크플로우 시스템을 구축한다.
- 워크플로우 형식화와 다단계 보상 주석 방식을 통해 일반 하니스 시스템 내에서 에이전트 동작을 검증하며, 저수준 도구 호출 보상과 중수준 워크플로우 단계 보상을 포함한다.
- 워크플로우 단계 정규화된 GRPO 알고리즘으로 더 효과적인 에이전트 강화학습을 지원한다.
- 이 프레임워크로 학습한 LAR-9B/27B 모델 계열은 같은 크기의 기존 최고 성능 모델을 능가한다.
- LAR-27B는 TerminalBench-2.1에서 77.3%를 달성했으며, 기본 모델 대비 평균 9.89%, 비교 가능한 크기의 차선 모델 대비 5.07% 성능 향상을 보였다.
- 형식 검증 방법과 에이전트 강화학습의 통합이 개방형 에이전트RL 성능 향상의 가능성을 시사한다.