형식 검증도 100% 신뢰할 수 없다
Key Point
형식 검증을 도입하려는 조직들이 단순히 '완전히 증명됐으니 버그 없다'고 믿기 쉬운데, 실제로는 무엇이 검증되고 무엇이 검증 범위 밖인지 명확히 이해해야 한다.
핵심 요약
- AI가 형식 검증(formal verification)을 주류 기술로 만들었지만, '형식 검증된 소프트웨어'라는 표현은 모호하고 위험하다.
- 형식 검증은 강한 주장을 한다—모든 경우에 대해(forall) 정확함을 보증하지만, 검증 과정의 신뢰 기반(프로버, 모델, 정의)에 오류가 있으면 증명 전체가 무너진다.
- 테스트는 검증 가능하다—버그 리포트 같은 명확한 산출물을 남기고 사람이 검토할 수 있지만, 형식 검증의 증명은 외부 검토 없이도 유효하다고 간주되어 숨은 결함을 찾기 어렵다.