LLM 에이전트의 능동적 탐색과 적응 능력 측정 벤치마크 등장
원제 AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments
추천 28댓글 2
Key Point
LLM 에이전트가 실제 배포 환경에서 변화하는 규칙에 독립적으로 대응할 수 없다는 기본 한계를 실증적으로 드러내며, 에이전트 개발에 필요한 핵심 개선 방향을 구체적으로 제시한다.
핵심 요약
- LLM 에이전트가 변화하는 환경에서 자동으로 환경을 탐색하고 규칙을 발견하며 적응해야 하는데, 이를 테스트하는 벤치마크가 부족하다는 문제를 해결하기 위해 AdaExploreBench가 제안됐다.
- AdaExploreBench는 환경의 숨겨진 규칙을 에이전트가 능동적으로 발견해야 하고, 규칙이 예고 없이 바뀌는 상황(implicit rule drift)에서 성능 저하를 감지해 재탐색해야 한다.
- GPT-4o, Claude 3.5 등 8개 최신 LLM으로 실험한 결과 GPT-4o가 61.9% 정확도를 기록했으며, 능동적이고 적응적인 탐색은 현재 모델들에게 여전히 매우 어려운 과제로 나타났다.
- 충분한 증거가 제공되거나 규칙 변화(drift)를 제거하면 평균 성능이 약 10% 향상되는데, 이는 LLM이 좋은 증거가 주어지면 추론은 잘하지만 능동적으로 올바른 증거를 수집하고 기존 지식의 유효성을 판단하는 능력이 부족함을 보여준다.