단일 참조 코드만으로는 테스트를 평가할 수 없다
원제 TestPrism: Rethinking Test Evaluation Beyond a Single Reference
추천 34댓글 2
Key Point
코딩 테스트 생성의 실제 평가 방식이 얼마나 부정확한지 보여주며, 다양한 구현을 검증해야 하는 테스트 생성 연구의 새로운 기준을 제시한다.
핵심 요약
- LLM 코딩 에이전트가 생성한 테스트를 단일 참조 솔루션으로만 평가하면 다른 유효한 구현을 놓치고 테스트 품질을 과대평가할 수 있다.
- 이를 해결하기 위해 300개 테스트 과제와 3000개 후보 구현(유효/무효 각 50%)으로 구성한 TestPrism 벤치마크를 제안한다.
- TestPrism의 핵심 메트릭인 Joint Success Function은 생성된 테스트가 초기 프로그램에서 실패하고, 모든 유효한 후보는 수용하며, 모든 무효한 후보는 거부해야 한다.
- 14개 기준 에이전트 구성을 평가한 결과 Joint Success Function은 28.00%에 불과한 반면, 단일 참조 기준으로는 59.67%에 달한다.
- 분석 결과 놓친 동작, 미지원 단언(assertion), 결함 있는 테스트 구성이 주요 문제점이다.
- 이를 개선하기 위해 TestHelix를 제시하는데, 테스트-수정 쌍의 이질적 합성, 피어 크로스 검증, 재귀적 자기 개선(RSI)을 결합한다.
- TestHelix는 두 모델 모두에서 Joint Success Function을 기본 비교군 대비 8.67~9.00 포인트 향상시킨다.