코딩 에이전트, 여러 저장소 연계 개발에서 58% 성공률
원제 CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
추천 26댓글 1
Key Point
단일 저장소 문제에서 벗어나 실무 규모의 멀티 리포지토리 조정 개발이 LLM 코딩 에이전트의 새로운 한계임을 보여주는 벤치마크 공개로, 에이전트 능력과 한계를 이해하려는 개발자와 연구자가 참고해야 한다.
핵심 요약
- 코딩 에이전트의 성능을 평가하는 새로운 벤치마크 'CrossSWE'가 공개되었으며, 여러 저장소에 걸친 조정된 개발이 필요한 실제 소프트웨어 엔지니어링 작업을 다룬다.
- 165개의 저장소, 20개 기술 도메인, 13개 프로그래밍 언어를 아우르는 171개의 실제 인스턴스로 구성되어 있다.
- 종속성 추론, 변경 전파, 인터페이스 일관성 유지 등 여러 저장소 간 조정 변경의 필요성을 검증한다.
- GPT-4o(또는 GPT-6.1 Sol로 표기)를 포함한 5개 LLM을 평가한 결과, 최강 모델도 Pass@1에서 58.48% 성공률만 달성했다.
- 저장소 간 불일치가 가장 흔한 실패 원인으로 44.2%를 차지했으며, 상호 의존적인 저장소 간 일관성 유지의 어려움을 드러냈다.