코딩 에이전트를 위한 상호작용하는 요구사항 데이터셋 공개
원제 When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications
추천 10댓글 2
Key Point
코딩 에이전트가 현실 수준의 복잡한 상호의존적 요구사항을 만족하도록 훈련하는 새로운 방법론과 대규모 데이터셋이 공개되어, 소프트웨어 개발 에이전트의 성능 평가 기준이 실질적으로 높아진다.
핵심 요약
- 현실의 장기 소프트웨어 개발에서 코딩 에이전트는 인터페이스 호환성, 에러 핸들링 같은 다차원적 작업 명세를 동시에 만족하면서 기존 의존성을 유지해야 한다.
- 기존 연구들은 명세의 양과 다양성이 부족하고, 주요 목표에만 집중해 복잡한 제약을 무시하는 경향이 있다.
- 단순히 명세를 추가하면 작업이 체크리스트처럼 단순화되거나, 상호작용의 신뢰성을 검증하면서 유효한 대안을 놓칠 위험이 있다.
- 이를 해결하기 위해 상호작용하는 명세를 가진 작업을 자동 생성하는 CodeSpecWeave 프레임워크를 제안한다.
- 실제 개발자 사례를 바탕으로 합성 에이전트가 연결된 작업 요구사항과 실행 가능한 테스트를 반복 개발하고, 리뷰 에이전트가 여러 모델의 풀이를 검토해 테스트 신뢰성을 보장한다.
- 이 파이프라인으로 2,865개 저장소에 걸쳐 4,670개 훈련 작업을 구성했다.
- 강화학습을 적용하면 기존 모델 대비 DeepSWE-v1.1에서의 성능이 크게 향상되고 기존 기준선을 능가한다.
- CodeSpecWeave-Bench라는 100개 작업과 1,044개 명세로 이뤄진 엄격한 벤치마크를 공개했으며, 이는 최첨단 모델들을 명확히 구분하고 상호작용하는 엔지니어링 제약을 다루는 데 아직 여지가 크다는 점을 드러낸다.