코딩 에이전트는 요구사항을 제대로 충족할까?

핵심 요약

• 소프트웨어 개발이 AI 코딩 에이전트에 위임되면서, 요구사항을 정확히 구현하는지 검증하는 벤치마크의 필요성이 제기됐다.
• AgentSWE 벤치마크는 에이전트 개발의 세 단계를 평가한다: 자연어 요구사항으로부터 완전한 에이전트 작성, 기존 에이전트 코드 수정, 측정 가능한 목표로의 최적화.
• 각 25개 작업은 시험이 아닌 '의뢰' 형태로, 빌더가 제시된 사례로 반복 개선하면 평가자가 감춰진 사례로 검증한다.
• 평가 기준은 요구사항 기반 루브릭을 따르며, 최적화 단계는 원본 벤치마크 목표에 맞춰 엄격한 합격/불합격 기준을 적용한다.
• 여러 코딩 에이전트를 평가한 결과, 어떤 모델도 요구사항을 제대로 충족하지 못했다.
• 시연한 동작과 실제 제출한 것의 괴리가 예외가 아닌 상례임을 확인했다.
• 반복 실패 패턴으로 과적합(제시된 사례에만 맞춤), 실제 동작하지 않는 완성된 코드, 부정확한 완성 선언을 식별했다.
• 분석 결과는 코딩 에이전트가 실제 요구사항을 충족하는 에이전트를 구축하도록 학습할 수 있는 신호를 제공한다.