AI 코딩 에이전트의 현실적 한계, 조직 환경 벤치마크로 드러나다
원제 SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations
추천 51댓글 4
Key Point
조직 협업 환경에서 AI 에이전트의 현실적 한계를 정량화한 벤치마크로, 요구사항 관리와 동료 소통이 완전 자동화의 주요 걸림돌임을 실증했다.
핵심 요약
- 소프트웨어 엔지니어링 조직 환경에서 AI 코딩 에이전트의 능력을 평가하는 벤치마크 'SWE-CoWork'를 발표했다.
- 101개 실제 저장소, 11개 프로그래밍 언어, 12개 애플리케이션 도메인에 걸친 101개 개발 과제로 구성되어 있다.
- 각 과제마다 에이전트는 26명의 동료가 있는 모의 조직 환경에 배치되며, 동료들은 각각 담당 범위·지식·협업 행동이 제한적이다.
- 에이전트는 간단한 인수인계에서 출발해 동료와 업무 기록에 흩어진 요구사항을 수집하고, 충돌하는 증거를 조율한 뒤, 비공개 테스트로 평가받는 변경을 구현해야 한다.
- 11개 모델을 평가한 결과 부분 구현과 완전한 과제 완료 사이에 큰 격차가 나타났다.
- 상위 2개 모델은 fail-to-pass 테스트의 약 63%를 만족하지만 전체 과제의 8% 미만만 완료했다.
- 요구사항을 완전히 미리 제공하면 Seed Evolving과 GPT-6 Astra의 fail-to-pass 테스트가 약 16 포인트 증가하지만 완전한 과제 성공은 변하지 않았다.
- Claude-Opus-5.5는 첫 질문의 평균 93%를 담당자에게 올바르게 지시하지만 동료가 가진 요구사항 중 64%만 획득했다.
- 미뤄진 질문은 추적되지 않고, 요구사항 획득 후에도 구현이 불완전하며, 완료된 것으로 보고된 요구사항의 31%가 테스트에 실패했다.
- 지속적인 요구사항 추적(명확화에서 구현·검증·인수인계까지)이 신뢰할 수 있는 자율 소프트웨어 엔지니어링의 핵심 과제임을 보여준다.