AI가 CPython을 형식 증명했고 418개 버그를 찾았다
원제 Formalizing CPython
109 포인트댓글 45

Key Point
Python 개발자와 CPython 유지보수자는 형식 증명으로 발견 가능한 버그 클래스를 알게 되고, 엣지 케이스의 정확한 동작 정의가 얼마나 중요한지 확인할 수 있다.
핵심 요약
- AI 에이전트가 CPython의 함수 613,318줄을 Lean 증명 언어로 다시 작성하고 자동 검증했다.
- 각 함수는 수만 개 입력에 대해 실제 Python과 비교 테스트한 후 형식 증명을 시도한다.
- 현재 4,071개 함수(전체의 15.7%)가 검증을 통과했으며, 18,898개 정리와 보조정리를 포함한다.
- 이 과정에서 Python을 충돌시키거나 메모리를 손상시킬 수 있는 버그 55개를 포함해 총 418개의 버그 리포트를 제출했다.
- 메모리 주소 재사용, 중첩 호출 깊이 오류, 딕셔너리 및 집합 변경 중 동시 접근 등 엣지 케이스의 버그들을 발견했다.
- 형식 증명은 코드가 정확히 무엇을 하는지 명시하도록 강제하기 때문에 모호한 부분과 숨겨진 버그를 드러낸다.
- 초기 접근은 모든 함수에 최소한 하나의 명제를 증명하도록 요구했으나, 실제로는 절반 이상의 증명이 잘못된 함수도 통과했다.
- 리뷰어는 증명이 실제로 의미 있는지 확인하기 위해 '깨진 버전도 이 증명을 통과할까?'라는 질문으로 검증을 강화했다.
- 증명이 수학적으로 옳아도 실제 Python과 일치하지 않는 경우들(16테라바이트 메모리 요청, 텍스트 코덱 로딩 등)을 테스트로 catch했다.
- 프로젝트는 10월 29일 시작했으며 Julia, GPU 커널, JavaScript 등 다른 프로젝트들에서 영감을 받았다.
- 모든 코드는 공개되어 있으며 표준 라이브러리와 멀티스레딩 등 남은 부분에 대한 기여를 환영한다.