AI 에이전트, 테스트 기법 지시로는 코드 품질 개선 못해
Key Point
개발자들이 AI 에이전트에게 테스트 기법을 지시해도 코드 품질이 개선되지 않는 현실을 체계적으로 보여주며, AI 코딩 도구의 신뢰성 문제의 근본 원인을 지목합니다.
핵심 요약
- 연구자는 Zstd 구현 평가를 통해 AI 에이전트에게 TDD·퍼지 테스트·형식 검증 등 26가지 테스트 기법을 지시해 효과를 비교했다.
- 특정 테스트 기법이나 라이브러리 사용 지시, 큰 스킬 프롬프트, 유명 오픈소스 스킬 등을 시도했지만 대부분 지시 없는 기본 방식보다 나은 결과를 주지 못했다.
- 높은 비용 설정에서는 퍼지 테스트와 속성 기반 테스트가 평균적으로 형식 검증보다 조금 나았으나, 전반적으로 어느 기법도 압도적 성능 향상을 보이지 않았다.