AI 코딩 에이전트의 협업 능력 평가 벤치마크 공개
원제 Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
추천 14댓글 1
Key Point
현재 AI 코딩 에이전트는 요구사항 70% 정도를 부분적으로만 충족하지만 완전한 완료는 26%에 불과해, 실제 협업 환경에서 얼마나 신뢰할 수 있는지 명확히 보여준다.
핵심 요약
- Hugging Face가 AI 모델의 멀티모달 협업 코딩 능력을 평가하는 벤치마크 'Co-Design Bench'를 발표했다.
- 실제 사용자 세션 26,314개에서 수집한 중복 제거 쿼리 37,463개 중 273개 작업으로 구성되며, 텍스트·이미지·오디오·비디오·문서 등 다양한 입력을 포함한다.
- Multimodal Editing(ME)과 Repository Editing(RE) 두 가지 트랙을 제공하고, Grounded Understanding·UI Transformation·Functional Implementation 세 가지 능력 차원을 평가한다.
- 각 작업에는 전문가가 작성한 수용 기준(acceptance criteria) 2,331개가 숨겨져 있다.
- 판사-반박 프로토콜로 기준을 등급 매기고, 별도 LLM 검증자가 긍정 판정에 도전하며, 금(gold) 코드나 목표 스크린샷 없이 시각·상호작용 주장을 감시한다.
- 테스트된 10개 모델 중 성능이 최고인 모델은 작업당 평균 69.9%의 기준을 통과했지만 작업을 완전히 만족한 비율은 26.4%에 그쳤다.
- 모든 모델이 3~4가지 변경 유형을 포함한 저장소 편집에서 1~2가지 변경만 포함한 작업보다 낮은 성능을 보였다.
- 이 벤치마크는 에이전트 실행 환경에서 부분적 요구 만족과 완전한 작업 성공의 격차를 연구하는 테스트베드 역할을 한다.