코딩 에이전트가 서로 평가하는 자동 확장 벤치마크 등장

핵심 요약

• 기존 코딩 벤치마크는 고정된 과제를 제공하는데, 시간이 지나면서 과제가 학습 데이터에 유출되고 에이전트 성능이 포화된다는 문제를 지적한다.
• SWE-Duel이라는 새로운 평가 아레나를 제안하며, 두 코딩 에이전트가 Red-Blue 턴으로 서로를 평가하는 방식으로 작동한다.
• Red 에이전트는 실제 저장소에서 새 기능을 구현한 후 의도적으로 미묘한 버그를 삽입하고, 버그를 유발하는 시험은 봉인해둔다.
• Pull request는 기능 시험과 기존 시험을 통과하면서 버그 시험은 정확히 실패해야 하고, 같은 에이전트가 버그를 복구할 수 있어야 인정된다.
• Blue 에이전트는 버그의 존재를 모른 채 Pull request를 검토하고, 모든 시험을 통과하면 승리한다.
• 5개 언어, 15개 저장소에서 11개 모델-도구 조합이 1,500 턴의 토너먼트를 벌였다.
• GPT-4.5 Codex CLI는 검토한 결함의 98.3%를 수정해 최강 해결책이고, Claude Opus 4.8 mini-swe-agent는 27.3% Red 승률로 최강의 과제 작성자다.
• 같은 모델 계열 내에서 최신 버전이 작성한 과제가 고정 참조 해결책을 이기는 비율은 4.0%에서 42.9%로 크게 높아졌으며, 이는 과제 난이도가 과제 작성 능력에 따라 확장됨을 시사한다.