AI 코딩 에이전트의 프로그램 최적화 능력 평가 벤치마크 공개
Key Point
AI 코딩 에이전트가 실제 프로그램 최적화를 얼마나 잘 수행하는지 측정할 수 있는 첫 번째 대규모 벤치마크이며, 성능 격차를 만드는 요인(조율 능력, 맥락 의존성)이 무엇인지 보여주기 때문이다.
핵심 요약
- AI 코딩 에이전트가 프로그램 전체에 걸쳐 최적화를 조율하면서 계산 정확성을 유지할 수 있는지 평가하는 'Accelerate Bench' 벤치마크를 제시했다.
- 과학 애플리케이션과 슈퍼컴퓨팅 경쟁에서 수집한 32개의 CPU 최적화 과제로 구성되며, 각 과제는 작동하는 프로그램, 작업 부하, 정확성 요구사항, 실행 시간 제약, 허용 편집 범위를 제공한다.
- 공개 테스팅으로 반복 개발을 지원하고, 별도의 검증자가 최종 제출물을 채점한다.