저자극 언어를 위한 202개 소프트웨어 공학 과제 벤치마크 공개
Key Point
13개 저자극 프로그래밍 언어에 대한 첫 대규모 저장소 수준 벤치마크로, 비주류 언어 생태계의 AI 코딩 능력 평가와 개선에 실질적인 자료를 제공한다.
핵심 요약
- 기존 저장소 수준 벤치마크에서 커버되지 않은 13개 언어(클로저, 다트, 엘릭서, 얼랑, F#, 해스켈, 줄리아, 코틀린, 루아, OCaml, R, 스칼라, 스위프트)에 대해 202개의 이슈 해결 과제로 구성된 Longtail-SWE 벤치마크를 발표했다.
- 벤치마크 구성 과정에서 솔버가 각 과제를 시도하고, 판사가 솔버의 궤적과 테스트 결과를 검토한 뒤, 수리자가 테스트와 과제 설명을 개선하는 3단계 파이프라인을 사용했다.
- 이 과정은 유효한 대체 구현을 거부하는 테스트나 부정확한 솔루션을 허용하는 테스트를 수정하면서도 도전적인 과제를 유지하고 원래 의도를 보존하는 것을 목표로 한다.