AI가 코딩을 완전히 해결했다는 주장은 착각이다

핵심 요약

• LLM이 코드 작성에 능하다는 주장은 소프트웨어 개발의 본질을 오해한 것이다. 코드 생성 비용이 낮아졌지만, 실제 비용의 대부분은 유지보수, 신뢰성, 보안, 확장성 같은 비기능 요구사항에서 나온다.
• 의료, 금융, 자동차, 방위, 발전소, 항공 등 실수의 대가가 큰 산업에서는 낮은 위험 허용도가 필요하며, 이런 분야에서는 책임감 있는 엔지니어가 필수다.
• AI는 책임을 질 수 없다. AI는 결과에 따른 처벌, 감옥, 벌금을 받지 않으므로 진정한 책임성을 가질 수 없고, 제어 불가능한 것에는 책임을 질 수 없다는 원칙이 핵심이다.
• 코딩은 논리를 다루는 일인데, LLM은 확률 기반 모델이라 논리 작업에 본래 약하다. 에러 피드백 루프로 개선하지만 근본적인 한계는 남고, 입력이 커질수록 정확도가떨어진다.
• LLM이 코드를 잘 쓴다고 주장하는 사람들은 오랜 시간 코딩하지 않았거나 AI 생성 코드의 문제를 놓치거나 비기능 요구사항을 무시하는 사람들이다.
• 개발 중에는 LLM의 비결정성으로 인한 위험이 있고, 런타임에도 동일 입력에 다른 출력이 나올 수 있어 항공기 자동조종장치처럼 신뢰해야 하는 시스템에는 부적합하다.
• 관리자들이 개발자를 AI로 대체하려 하는 것은 AI에 대해 얼마나 모르는지 보여주는 '던닝-크루거 효과'다. 책임감 있는 소유권은 지식, 권한, 책임 3가지를 모두 요구한다.
• 코드는 사고와 실험의 부산물이며, 좋은 엔지니어는 '왜'를 이해한 후에 코딩을 시작한다. 이 이해는 시간이 걸리고 '느린 것이 빠르다'는 원칙이 중요 소프트웨어에 적용된다.
• AI 생성 코드가 2배 나쁘더라도 1000배 빠르고 100배 싸면, 많은 작업에서 경제학적으로 인간이 필요 없을 수 있다. 하지만 이는 낮은 위험도의 SaaS 같은 제한적 경우에만 해당한다.
• 소프트웨어 회사들이 AI 비용으로 구축하면서도 인간 엔지니어 수준의 가격을 유지하는 것은 지속 불가능하다. 질 중심 전략(이해와 책임감 우선)이나 가격 인하 중 선택해야 한다.
• AI 출력은 값싼 도금(Nordic Gold) 같다. 좋아 보이지만 실제 금은 아니다. 많은 경우 금이 필요 없지만, 돈을 버는 전문 소프트웨어는 책임성, 일관성, 설명 가능성을 갖춘 엔지니어가 여전히 필요하다.