AI 에이전트 학습, 사용자·환경과 함께 진화시키다
원제 EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents
추천 17댓글 8
Key Point
훈련 시스템 전체를 적응형으로 진화시키는 방식이 다중 턴 강화학습 성능을 대폭 향상시키는 것으로 나타났으며, 이는 에이전트 개발의 기존 접근 방식을 바꿀 수 있는 경험적 증거를 제시한다.
핵심 요약
- LLM 에이전트가 사용자와 여러 턴에 걸쳐 상호작용하도록 훈련할 때, 사용자 시뮬레이터와 환경이 불안정하거나 불완전해서 학습 신호가 왜곡되는 문제가 있다.
- 기존 접근법은 보상 재설계나 감독 강화로 이를 해결했지만, 사용자 시뮬레이터와 환경을 고정된 것으로 취급했다.
- EAU는 메타 에이전트 프레임워크로, 훈련 중 궤적·도구 추적·보상·통계를 모니터링하며 실패와 무정보 상호작용을 진단한다.
- 진단 결과에 따라 사용자 시뮬레이터, 환경, 보상 설계, RL 설정을 수정하고 검증된 변경사항을 실시간으로 반영한다.
- 수정사항은 다음 훈련 실행에도 축적되어, 기존 개선사항 위에 빌드하지 초기 상태로 돌아가지 않는다.
- 사용자와 환경 역학은 편집 가능한 기호 표현으로 다루고, 에이전트만 신경망 LLM으로 RL 최적화한다.
- 3개 벤치마크와 2개 백본 모델에서 EAU는 기존 RL 방법 대비 전체 점수를 14.7~15.0% 높였고, ColBench의 작업 완수율을 최대 36.7% 개선했다.