저자극 언어를 위한 202개 소프트웨어 공학 과제 벤치마크 공개
원제 Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
추천 22댓글 3
Key Point
13개 저자극 프로그래밍 언어에 대한 첫 대규모 저장소 수준 벤치마크로, 비주류 언어 생태계의 AI 코딩 능력 평가와 개선에 실질적인 자료를 제공한다.
핵심 요약
- 기존 저장소 수준 벤치마크에서 커버되지 않은 13개 언어(클로저, 다트, 엘릭서, 얼랑, F#, 해스켈, 줄리아, 코틀린, 루아, OCaml, R, 스칼라, 스위프트)에 대해 202개의 이슈 해결 과제로 구성된 Longtail-SWE 벤치마크를 발표했다.
- 벤치마크 구성 과정에서 솔버가 각 과제를 시도하고, 판사가 솔버의 궤적과 테스트 결과를 검토한 뒤, 수리자가 테스트와 과제 설명을 개선하는 3단계 파이프라인을 사용했다.
- 이 과정은 유효한 대체 구현을 거부하는 테스트나 부정확한 솔루션을 허용하는 테스트를 수정하면서도 도전적인 과제를 유지하고 원래 의도를 보존하는 것을 목표로 한다.
- 9개의 모델 구성(프론티어 모델 포함)을 평가했으며, 과제 해결 성능, 반복 시도 간 일관성, 자원 사용량을 분석했다.
- 벤치마크의 모든 인스턴스, 실행 가능한 환경, 구축 및 평가 도구, 에이전트 궤적을 공개했으며, 소규모 모델 평가를 지원하기 위한 추가 쉬운 과제 세트도 함께 제공한다.