실제 버그 수정에서 배우는 AI 코딩 평가 데이터셋 생성

핵심 요약

• 코딩 에이전트 성능 평가를 위해 현실적이고 다양한 소프트웨어 엔지니어링(SWE) 과제가 필요하지만, 수동 작성으로는 생산 속도가 느리고 비용이 높다.
• 기존 합성 방식들은 사전학습된 모델 지식과 휴리스틱 프롬프팅에만 의존해 실제 소프트웨어 결함의 복잡한 메커니즘을 제대로 포착하지 못한다.
• SWE-at-Scale은 과거의 실제 버그 수정 이력을 역공학하여 현실적인 이슈를 자동으로 합성하는 프레임워크다.
• 핵심은 버그 수정을 역으로 진행해 수정 감독을 버그 유도 감독으로 변환하면, 실제 개발 시나리오에 기초한 감독 신호를 얻을 수 있다는 점이다.
• 학습된 버그 패턴을 새로운 코드 맥락에 옮겨서 다양한 버그 유형을 반복 샘플링해 실행 가능한 SWE 과제를 구성한다.
• 실험 결과 SWE-at-Scale은 기존 합성 기법보다 더 다양하고 현실적인 SWE 과제를 생성하며, 최신 코딩 에이전트에 더 큰 도전을 제시한다.
• 파일당 최대 200개까지 생성해도 버그 다양성이 견고하게 유지되며, 단일 코드 컨텍스트에서도 서로 다른 버그 유형을 여러 개 만들 수 있다.
• 유한한 실제 버그 수정 데이터를 재사용 가능한 감독 신호로 변환해 현실적이고 다양하며 도전적인 SWE 과제를 규모 있게 합성할 수 있게 한다.