AI 코딩 에이전트의 프로그램 최적화 능력 평가 벤치마크 공개
원제 Accelerate Bench: Evaluating Agents for Application-Level Program Optimization
추천 19댓글 2
Key Point
AI 코딩 에이전트가 실제 프로그램 최적화를 얼마나 잘 수행하는지 측정할 수 있는 첫 번째 대규모 벤치마크이며, 성능 격차를 만드는 요인(조율 능력, 맥락 의존성)이 무엇인지 보여주기 때문이다.
핵심 요약
- AI 코딩 에이전트가 프로그램 전체에 걸쳐 최적화를 조율하면서 계산 정확성을 유지할 수 있는지 평가하는 'Accelerate Bench' 벤치마크를 제시했다.
- 과학 애플리케이션과 슈퍼컴퓨팅 경쟁에서 수집한 32개의 CPU 최적화 과제로 구성되며, 각 과제는 작동하는 프로그램, 작업 부하, 정확성 요구사항, 실행 시간 제약, 허용 편집 범위를 제공한다.
- 공개 테스팅으로 반복 개발을 지원하고, 별도의 검증자가 최종 제출물을 채점한다.
- 벤치마크 1.1 버전에서 16개의 AI 에이전트(모델과 실행 환경의 조합)를 평가했을 때, Score@1은 25.5%에서 67.4% 범위에 분포했다.
- 대부분의 에이전트가 생성한 프로그램은 정확했으나, 속도 향상 정도로 성능이 갈렸는데, 상위 2개 에이전트는 32개 과제 중 22개 이상에서 최소 2배 이상 빠른 성능을 보인 반면, 나머지 14개는 8~17개 과제에서만 2배 달성했고, 412개의 정확한 결과물 중 125개는 1.25배 미만에 머물렀다.
- 제어된 재실행 분석 결과, 동일한 소스 코드도 빌드와 런타임 설정에 따라 0.29배에서 2.12배 사이의 성능 차이가 나타났고, 한 가지 코드 변경도 다른 변경의 유무에 따라 1.01배 또는 6.4배의 효과 차이를 보였다.
- Accelerate Bench는 실행 가능한 작업 부하와 에이전트의 프로그램 및 최적화 과정을 함께 제공하여 성능 향상뿐만 아니라 그 뒤의 최적화 프로세스도 평가할 수 있다.