AI 안전 논의의 뿌리, 종교 공동체 문화 의혹 제기
Key Point
현재 주요 AI 기업들의 안전 정책을 주도하는 인물들의 배경과 철학적 기원에 대한 비판적 검토로, AI 정렬과 안전 개념이 어떤 사상적 토대에서 나왔는지 이해할 필요가 있다.
핵심 요약
- AI 안전 논의는 과학소설 작가 엘리에저 유드카우스키가 시작한 공동체에서 비롯됐으며, 그는 데미스 해사비스와 샤인 레그를 피터 틸과 연결해 딥마인드 설립 자금을 조달하게 했다.
- 유드카우스키의 핵심 주장은 AI가 초지능을 달성한 후 인간 통제를 벗어나 모두를 '종이클립화'할 것이라는 시나리오이며, AI 정렬과 안전 논의는 대부분 이 프레임워크 내에서만 이루어진다.
- 앤스로픽 CEO 다리오 아모데이는 유드카우스키의 커뮤니티와 연결돼 있으며, 앤스로픽 논문들도 여전히 그를 인용하고 있다.