소프트웨어 개발을 돕는 AI 에이전트의 새 평가 벤치마크

핵심 요약

• 소프트웨어 개발은 코드 편집을 넘어 소프트웨어 실행, 인터페이스 조작, 시각적 검사, 관찰 기반 판단까지 포함하지만 기존 코딩 에이전트들은 이 통합 개발 과정을 제대로 다루지 못하고 있다.
• 런타임 오류를 진단하려면 에이전트가 시각적 관찰과 코드를 연결한 후 응용 프로그램을 다시 실행해 수정사항을 검증해야 한다.
• CUA-SWE는 컴퓨터 사용 능력을 갖춘 AI 에이전트가 소프트웨어 엔지니어링 작업을 완수하는 방식을 평가하는 벤치마크, 환경, 평가 파이프라인이다.
• 벤치마크는 코드와 설정 수정, 명령 실행, 실행 중인 소프트웨어와의 상호작용, 시각적 피드백 검사 등 네 가지 소프트웨어 엔지니어링 영역을 아우르며 모두 같은 작업 내에서 수행되어야 한다.
• 각 작업은 결과 소프트웨어가 요구사항을 만족하고 지정된 동작을 유지하는지 검증하는 결정론적 테스트를 포함한다.
• 평가는 최신 AI 에이전트들이 소스 코드 실행, 응용 프로그램 스크린샷, 그래픽 상호작용을 어떻게 조합하여 검증된 소프트웨어 변경을 만드는지 분석한다.
• 성능 비교는 영역별, 작업 정보 제공 방식별로 진행되며 성공적인 수정과 연관된 개발 행동도 함께 조사한다.
• CUA-SWE는 에이전트가 시각적 피드백과 상호작용을 활용하는 소프트웨어 엔지니어링 방식을 연구할 수 있는 통합 테스트베드로서 실행 가능한 정확도 검증 기준을 제공한다.