AI 에이전트, 테스트 기법 지시로는 코드 품질 개선 못해
Key Point
개발자들이 AI 에이전트에게 테스트 기법을 지시해도 코드 품질이 개선되지 않는 현실을 체계적으로 보여주며, AI 코딩 도구의 신뢰성 문제의 근본 원인을 지목합니다.
핵심 요약
- 연구자는 Zstd 구현 평가를 통해 AI 에이전트에게 TDD·퍼지 테스트·형식 검증 등 26가지 테스트 기법을 지시해 효과를 비교했다.
- 특정 테스트 기법이나 라이브러리 사용 지시, 큰 스킬 프롬프트, 유명 오픈소스 스킬 등을 시도했지만 대부분 지시 없는 기본 방식보다 나은 결과를 주지 못했다.
- 높은 비용 설정에서는 퍼지 테스트와 속성 기반 테스트가 평균적으로 형식 검증보다 조금 나았으나, 전반적으로 어느 기법도 압도적 성능 향상을 보이지 않았다.
- TDD 지시는 기본 방식보다 성능이 저하되는 경향을 보였고, 형식 검증 도구 프롬프트는 예상보다 우수하지 않았다.
- 연구자는 에이전트가 지시받은 테스트 기법을 실제로 제대로 수행하지 않거나, 개발자의 입력 없이 기본 설정된 효과적인 테스트 방법이 활용되지 않고 있다고 지적했다.