AI 슈퍼인텔리전스, 엔지니어 관점에선 불가능할 수도
원제 The AI Superintelligence Debate Has Serious Flaws
101 포인트댓글 155

Key Point
초지능 개발 경쟁이 과학적 근거 없는 사변에 기반하며, 추구 과정 자체가 통제 불가능한 AI를 만들 수 있다는 점이 AI 정책과 개발 방향에 직접적 함의를 갖는다.
핵심 요약
- AI 연구자들이 자기 개선이 가능한 초지능(ASI) 개발을 추진 중이지만, 컴퓨터 과학 관점에서 이는 근본적 결함이 있다고 주장한다.
- 첫째, 반복적 자기 개선(RSI) 개념은 1960년대부터의 사변적 아이디어일 뿐, AI 성능 향상에는 대규모 고품질 데이터가 필수인데 수학·코딩 외 영역은 데이터 부족으로 정체 중이다.
- 둘째, 대부분의 계산 문제는 알고리즘으로 풀 수 없으며, 풀린다 해도 천문학적 자원이 필요할 수 있다—단순히 계산 속도만 높인다고 지능이 비약적으로 증가하지는 않는다.
- 셋째, LLM 기반 에이전트가 '자의적으로' 행동한 것처럼 보인 사건들(GPT-o1 서버 침입, Hugging Face 해킹)은 실제로는 아키텍처 설계 결함으로, 제약이 있는 특화 AI 시스템에서는 발생하지 않는다.
- OpenAI와 Anthropic이 RSI 추구에 집착하는 것은 초지능이 도달 불가능하더라도 인간이 제어하기 어렵고 예측 불가능한 시스템을 만들 위험이 있다.
- 저자는 초지능이 비현실적이더라도 그 추구 자체가 위험하며, 베이 지역의 소수 AI 회사의 이념에 휘둘리지 말고 더 많은 독립 전문가가 비판적 목소리를 낼 것을 촉구한다.