코딩 AI는 정적분석 검사기를 만들 수 있을까
원제 CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
추천 53댓글 2
Key Point
LLM 기반 코딩 에이전트의 실제 역량을 장기 복합 작업으로 평가하는 새로운 벤치마크를 제시하며, 현재 AI 모델들이 보안 도구 개발에서 얼마나 한계가 있는지 보여준다.
핵심 요약
- 정적분석 검사기 개발은 에이전트가 결함 명세를 해석하고, 저장소를 검사하며, 분석기 로직을 구현하고, 컴파일 피드백을 통해 반복적으로 개선해야 하는 복잡한 작업이다.
- 기존 코딩 에이전트 벤치마크는 패치 생성이나 취약점 탐지 같은 단기 작업에 집중했으며, 처음부터 끝까지 작동하는 검사기를 개발할 수 있는지는 거의 평가하지 않았다.
- CheckerBench는 297개 CVE, 167개 저장소, 85개 CWE, 5개 언어 생태계에서 파생한 300개 작업으로 구성된 실행 가능한 벤치마크다.
- 각 작업은 취약 버전과 수정 버전, 고정된 분석 환경, 검사기 틀을 포함한다.
- CheckerLab 평가 프레임워크는 제출된 검사기를 독립적으로 재구성하고, 취약-수정 진단 대조, 패치 위치화, 거짓 양성, 도구 사용을 측정한다.
- 21개 모델-하니스 조합과 각 조합당 3회 반복 실험 결과, 평균 Pass@1은 32.30%이며 최고 성능은 45.33%다.
- 현재 코딩 에이전트에게는 신뢰할 수 있고 재사용 가능한 검사기 개발이 여전히 도전 과제임을 보여준다.