에이전트의 변화하는 도구에 대한 적응력을 평가하는 벤치마크 공개
원제 Δτ-Bench: Pushing Agents Toward a Moving Capability
추천 28댓글 2
Key Point
LLM 기반 에이전트가 실무 환경에서 마주하는 도구 변화에 얼마나 적응할 수 있는지 보여주는 새로운 평가 기준으로, 기존 벤치마크의 한계를 직접 드러내고 해결책을 제시했기 때문이다.
핵심 요약
- AI 에이전트가 진화하는 도구 생태계에 얼마나 잘 적응하는지 평가하기 위해 Δτ-Bench라는 실행 가능한 벤치마크를 소개했다.
- 이 벤치마크는 1,588개의 검증된 멀티턴 작업과 42개 도메인, 6개의 연속적인 생태계 상태를 포함하며, 도구가 사라지거나 교체되고 더 효율적인 대안이 등장하는 현실을 모델링한다.
- 기존 벤치마크는 에이전트가 효율적인 도구 사용 경로를 주동적으로 발견하고 축적된 절차적 지식을 신속하게 수정할 수 있는지 검사하지 않는다.
- 가장 강력한 평가 대상 모델이나 프레임워크도 42.3%의 작업 성공률에만 도달했으며, 기존 스킬 학습 방법의 초기 향상은 생태계가 진화할 때 일관되게 적응력으로 이어지지 않았다.
- 이러한 결과를 바탕으로 Steward라는 생태계 관리자를 제시했는데, 이는 점증적 스킬 유지와 작업 실행 중 동적 프로비저닝을 통해 도구와 절차적 지식을 함께 관리한다.
- Steward는 생태계 변화에도 더 높은 작업 성공률을 유지하면서 스킬 유지 오버헤드를 줄이고, 중단된 워크플로우 복구와 더 효율적인 대안 채택을 개선한다.