LLM 에이전트의 능동적 탐색과 적응 능력 측정 벤치마크 등장
Key Point
LLM 에이전트가 실제 배포 환경에서 변화하는 규칙에 독립적으로 대응할 수 없다는 기본 한계를 실증적으로 드러내며, 에이전트 개발에 필요한 핵심 개선 방향을 구체적으로 제시한다.
핵심 요약
- LLM 에이전트가 변화하는 환경에서 자동으로 환경을 탐색하고 규칙을 발견하며 적응해야 하는데, 이를 테스트하는 벤치마크가 부족하다는 문제를 해결하기 위해 AdaExploreBench가 제안됐다.
- AdaExploreBench는 환경의 숨겨진 규칙을 에이전트가 능동적으로 발견해야 하고, 규칙이 예고 없이 바뀌는 상황(implicit rule drift)에서 성능 저하를 감지해 재탐색해야 한다.
- GPT-4o, Claude 3.5 등 8개 최신 LLM으로 실험한 결과 GPT-4o가 61.9% 정확도를 기록했으며, 능동적이고 적응적인 탐색은 현재 모델들에게 여전히 매우 어려운 과제로 나타났다.