LLM 에이전트에 자가 반성 능력 가르치는 Agent-Reflex 프레임워크
원제 Agent-Reflex: Teaching Language Agents to Act Reflectively
추천 195댓글 2
Key Point
도구 사용 에이전트가 실제 환경의 노이즈와 오류로부터 자동으로 학습하고 회복할 수 있는 구체적인 훈련 방법론을 제시하고 있어, 더욱 견고한 AI 에이전트 개발에 필요한 기술이다.
핵심 요약
- 언어 모델 에이전트가 장기 추론과 도구 사용을 수행할 때 노이즈 있는 피드백과 사용자 개입에 대응하는 문제를 다룬다.
- Agent-Reflex는 세 단계로 구성된 훈련 프레임워크로, 먼저 Environment Reflection Skill Discovery(RSD) 단계에서 도구 피드백 섭동을 주입하고 다양한 LLM 풀에서 성공-실패 쌍을 추출해 반성 메타스킬을 도출한다.
- Reflective Supervised Fine-Tuning(ReSFT) 단계는 각 스킬을 자가 반성, 스킬 복구, 사용자 중심 수정을 위한 감독 신호로 변환한다.
- On-Policy Reflective Policy Optimization(ORPO) 단계는 노이즈 있는 상호작용 하에서 강화학습과 반성 유도 온폴리시 증류를 결합한다.
- Qwen3-8B 기반 Agent-Reflex는 다섯 개의 장기 도구 사용 벤치마크에서 전체 점수 58.6, AgentNoiseBench에서 29.1을 달성해 기존 방식을 초과한다.
- 여섯 개의 도전적인 에이전트 벤치마크에서 유효성을 실증했으며, 노이즈 견고성 개선과 안정적 훈련 동역학을 유지함을 보여준다.