AI 코딩 봇, 기능은 되는데 보안은 취약
원제 Last Secure Code Benchmark: Is the Code You Vibe Secure?
추천 62댓글 2
Key Point
생산 코드를 작성하는 AI 에이전트의 보안 수준을 실제 측정한 첫 대규모 평가로, 대부분의 AI 생성 코드가 기능적으로는 문제없지만 보안 취약점을 안고 있음을 보여줍니다.
핵심 요약
- AI 코딩 에이전트가 작성한 코드의 보안성을 평가하기 위해 Last Secure Code Benchmark를 개발했다.
- Java, C, C++, JavaScript, Python, PHP, Go 등 7개 언어로 된 450개 작업을 포함하며, 150개의 실제 취약점을 기반으로 구성됐다.
- 벤치마크는 2025 CWE Top 25 중 21개, Top 10 KEV 약점 8개를 포함하고, 함수 작성·파일 작성·저장소 구축 등 3가지 시나리오를 다룬다.
- 모든 작업은 보안을 언급하지 않은 기능 명세만 제시하며, 기능과 보안 테스트로 평가된다.
- 6개 프론티어 에이전트 평가 결과 기능 통과율은 73.6~91.3%에 달했다.
- 하지만 Claude 3.5 Sonnet(가장 강력한 모델)도 기능과 보안을 모두 만족한 코드는 25.1%에 그쳤고, 나머지는 16.4~24.7%였다.
- 최고 성능 모델도 모든 코딩 시나리오에서 취약점 문제의 12%만 통과하며, AI 코드 생성의 보안 위험성이 심각함을 시사한다.