Claude Code 팀의 AI 검증 전략: E2E·속성·차분 테스트
원제 How the Claude Code team thinks about verification
106 포인트댓글 113

Key Point
Claude 같은 AI 에이전트로 대규모 코드 작성을 위임할 때 검증 체계를 어떻게 구축하고 운영하는지 보여주는 실전 사례로, 코드 품질 유지와 자동화 신뢰도를 위해 필수적이다.
핵심 요약
- Claude Code 팀은 약 90%의 코드를 Claude가 작성·리뷰하며, 이 규모에서 에이전트가 검증 루프를 갖추는 것이 중요하다고 강조한다.
- 검증 루프는 한 번에 수십~수백 개의 에이전트를 병렬로 실행 가능하게 하며, 구조화된 파일 생성 테스트에서 별도 채점자가 루브릭 기준으로 Claude 작업을 평가하면 과제 성공률이 최대 10포인트 향상된다.
- 에이전트가 테스트·벤치마크·명세를 빠르게 생성할 수 있고, 이들을 소프트웨어처럼 반복 실행할 수 있어 검증 비용이 크게 낮아졌다.
- 테스트 선택 시 불안정한 테스트는 에이전트를 반복 실행으로 유도하고, 느린 테스트는 테스트 횟수를 줄여 문제 파악을 어렵게 하므로 피해야 한다.
- E2E 테스트가 가장 효과적인데, 사용자 플로우(카트 추가→결제→확인)를 그대로 검증하므로 기능 전체가 작동하거나 작동하지 않거나 명확하고, 단위 테스트는 통과해도 기능을 깨뜨릴 수 있다.
- E2E 테스트에서 에이전트에게 실행 중인 시스템의 '손과 눈'을 제공할 수 있으며, CDP·시뮬레이터·API 하니스 같은 도구를 사용한다.
- 속성 테스트는 사람들이 놓치는 엣지 케이스를 찾아 에이전트 오류가 자주 발생하는 영역을 커버하며, fast-check·Hypothesis·proptest 같은 라이브러리로 수천 개의 입력값을 자동 생성한다.
- 차분 테스트는 대규모 마이그레이션에서 기능이 동일하게 유지되는지 확인하려 오래된 시스템과 새 시스템에 같은 입력값을 보내 결과를 비교한다.
- Claude Code 팀은 verify 스킬로 앱 전체를 직접 테스트하도록 권장하며, Chrome 확장·iOS/Android MCP·컴퓨터 사용·로컬 실행 등을 활용한다.
- 검증이 3라운드 후에도 실패하면 Claude가 중단하고 인간 리뷰어를 호출하며, 코드 소유자가 검사 항목을 작성·정제해 소유자가 지적할 사항을 정확히 반영하도록 한다.
- 39개 항목의 신뢰성 체크리스트를 유지하며, diff에서 읽을 수 있는 트리거·검사·관련 사건 이력을 각 항목에 담아 과거 장애를 기억하지 않아도 된다.
- 리뷰어 추가는 주요 리뷰어를 튜닝하는 것보다 덜 효과적이므로 대신 REVIEW.md에서 주의할 사항을 명시하고, 리뷰 단계가 이전 단계의 맥락과 과거 오류를 참고하도록 한다.
- 검증 규칙을 수정할 수 있는 코드는 그 검증 규칙으로 판단할 수 없으므로, 코드 리뷰는 풀 리퀘스트 변경이 아닌 기본 브랜치의 REVIEW.md를 읽는다.
- Claude Code 팀은 각 커밋에 검증 방식을 스탬프로 기록하고, '없음'을 포함해 쿼리할 수 있으며, /code-review 또는 /verify 없이 커밋되지 않도록 게이트를 설정할 수 있다.
- 게이트는 관찰·강제 모드가 있고, 같은 세션에서 2번 차단되면 다음은 통과시켜 Claude가 막히지 않도록 한다.
- 팀은 리뷰어 자체를 정기적으로 평가하며, 머지 후 되돌려진 변경 수·리뷰어가 머지 전 거절한 변경 수·유지된 변경 수를 추적한다.