AI가 5개월에 완성한 Db2 마이그레이션 기능, 인간은 9개월 소요

핵심 요약

• Cockroach Labs는 MOLT 데이터베이스 마이그레이션 도구에 IBM Db2 소스 지원을 추가했는데, 이 작업을 AI 에이전트들이 2일 만에 완료했다.
• Oracle 지원 추가는 인간 엔지니어가 9개월, 약 16만 달러를 들였지만, Db2 지원은 에이전트가 비용 4,172달러에 완료했다: 164배 빠르고 38배 저렴했다.
• 작업 자동화를 위해 'MOLT Sinai'라는 '코딩 병원' 시스템을 구축했다: GitHub 이슈를 환자로, 병합을 퇴원으로 부르는 의료진 비유 모델이다.
• 계획 에이전트가 단일 Db2 요청을 15개의 의존성 그래프를 가진 부분 작업으로 분해하고, 추가로 더 분해하여 총 32개의 이슈를 생성했다.
• Fellowship 역할의 에이전트가 진단 및 치료 계획을 수립하면, Review Attending 에이전트가 결함을 찾는 역할로 승인 또는 거부한다: 이 이중 검토 게이트가 핵심이다.
• 5개월(4월~9월)에 병원 파이프라인은 100만 줄 이상의 코드를 병합했고, 거의 절반(1,299개)의 이슈는 에이전트가 자체적으로 생성했다.
• 토큰 비용은 약 13만 5천 달러, 평균 이슈당 84달러였으며, 처음엔 Opus를 사용했다가 Fable 도입 후 Fable로 계획 수립하고 구현 난도에 따라 모델을 선택하도록 진화했다.
• 병원 자체의 버그는 병원 이슈로 처리했으며, Sinai 리포지토리의 약 1,340개 커밋(85%)을 에이전트가 작성해 병원이 스스로를 개선했다.
• 25개 스킬 파일의 10만 단어 중 23%가 중복되었고, Discharge Nurse는 PR을 검토하기 전 매번 2만 9천 토큰을 로드했다.
• 계획 검토 단계에서 거부율은 10% 미만이지만 최고의 가치를 제공한다: 한 예로 로그의 호스트명 노출 계획이 검토 단계에서 보안 허점을 적발했다.
• 분해 시 1,000줄(테스트 포함) 상한선 규칙을 두어 검토자가 모든 코드를 이해할 수 있게 했다: 한 이슈에서 몇만 줄이 생기면 단일 검토 불가능하다.
• 4주차부터 '인간 승인 모드'를 켰고, 이를 통해 Migration Assistant(Postgres에서 CockroachDB 마이그레이션 AI 도구)를 거의 전적으로 에이전트가 작성했으며 현재 미리보기 중이다.
• 의료진 메타포 덕분에 '차등 진단', '구조화된 I-PASS 핸드오프', '선임의 이중 의견' 등 병원 프로토콜을 에이전트가 자연스레 수행했다.
• PR이 4라운드 연속 새로운 결함을 드러내거나 6라운드 이상 실질적 피드백을 받으면 Attending으로 핸드오프하는 '비수렴 차단기'를 추가했다.
• Research Department가 3시간마다 실행되면서 이슈를 과다 생성해 일일 실행으로, 그 후 미승인 제안 상한을 10개로 제한했다.
• 새 엔지니어나 경력 초기 개발자를 위한 학습 기능이 부족했고, 현재 인간이 선별된 이슈에 대해 계획을 수립하고 에이전트가 검토하며 방어하도록 하는 개선을 진행 중이다.