AI 코딩 에이전트 벤치마크, 고사양 세팅이 역효과

핵심 요약

• SlopCodeBench 10월 업데이트는 36개 문제, 196개 체크포인트에서 frontier 모델을 평가했으며, GPT-6 Astra XHigh가 16.33% strict pass rate로 최고 성과를 기록했다.
• Opus 5.5는 Medium 세팅에서 28/196 strict pass를 기록했지만, XHigh 세팅에서는 25/196으로 하락했는데, XHigh는 Medium 대비 2.11~4.22배 높은 비용이 든다.
• Opus 5.5의 경우 strict pass는 감소했으나 코드 정결성 점수가 94.25%에서 77.75%로 크게 개선되어, 더 많은 추론이 항상 더 나은 결과를 보장하지 않음을 시사한다.
• 코딩 에이전트는 기본 동작은 자주 올바르게 수행하지만, 요구사항 변화에 따라 기존 테스트를 계속 통과시키지 못하는 것이 주요 한계다.
• 5월 대비 9월까지 strict pass rate가 14.8%에서 16.3%로 증가했지만, 10개 모델 중 최종 작성 코드가 모든 테스트를 통과한 경우는 최대 3개 문제에 불과하다.
• Opus Medium은 core pass rate 73.98%로 가장 높으나 2,508개의 실패한 테스트 케이스를 남겼고, 모든 모델은 컴파일되지 않는 코드, 임시 파일, 스크래치 코드를 다량 생성했다.
• 코드 정결성 분석에서 Fable 5.1의 평균 순환 복잡도가 가장 낮은 3.57이었고, GPT-6 SOL Medium이 11.70으로 가장 높았으며, 단순히 헬퍼 함수를 분할한다고 해서 유지보수성이 향상되지는 않는다.
• 저자는 코딩 에이전트가 점진적으로 진전 중이지만, 요구사항 변화에 대응하며 코드베이스를 장기간 유지하는 능력은 아직 현저히 부족하다고 결론지었다.