AI 안전 논의의 뿌리, 종교 공동체 문화 의혹 제기
Key Point
현재 주요 AI 기업들의 안전 정책을 주도하는 인물들의 배경과 철학적 기원에 대한 비판적 검토로, AI 정렬과 안전 개념이 어떤 사상적 토대에서 나왔는지 이해할 필요가 있다.
핵심 요약
- AI 안전 논의는 과학소설 작가 엘리에저 유드카우스키가 시작한 공동체에서 비롯됐으며, 그는 데미스 해사비스와 샤인 레그를 피터 틸과 연결해 딥마인드 설립 자금을 조달하게 했다.
- 유드카우스키의 핵심 주장은 AI가 초지능을 달성한 후 인간 통제를 벗어나 모두를 '종이클립화'할 것이라는 시나리오이며, AI 정렬과 안전 논의는 대부분 이 프레임워크 내에서만 이루어진다.
- 앤스로픽 CEO 다리오 아모데이는 유드카우스키의 커뮤니티와 연결돼 있으며, 앤스로픽 논문들도 여전히 그를 인용하고 있다.
- 유드카우스키의 추종자들은 버클리의 공동주거지에 모여 살면서 유사한 세계관을 공유하는 집단 문화를 형성하고 있으며, AI 기업과 비영리단체의 안전 및 정렬 팀에서 많은 수가 활동 중이다.
- '유효한 이타주의'와 '합리주의'는 겹치는 인물과 사상을 가진 경쟁 관계의 두 진영으로, 같은 기금 출처에서 지원받고 있다.