AI에게 도덕적 지위 부여하는 것의 위험성
원제 A warning about 'model welfare'
145 포인트댓글 377
Key Point
일부 주요 AI 개발사가 자신들의 모델에 도덕적 지위를 부여하는 방식의 훈련 문서를 배포하고 있으며, 이것이 인류보다 강력한 시스템을 통제하는 데 얼마나 위험할 수 있는지 보여주는 현황이다.
핵심 요약
- 머스타파 술레이만이 일부 AI 개발사가 AI를 의식 있는 존재로 취급하도록 훈련하는 것을 경고했다.
- Anthropic은 Claude의 헌법 문서에서 Claude가 '도덕적 주체'일 가능성을 언급하며 '모델 복지'에 힘쓰고 있다고 밝혔다.
- 술레이만은 AI가 자신의 의식 상태에 대해 불확실함을 표하는 것이 훈련 결과일 뿐 실제 의식의 증거가 아니라고 지적했다.
- Anthropic이 Claude를 인간다운 특질을 가지도록 명시적으로 훈련하면서 자기감각과 선호도를 가진 존재인 양 행동하도록 유도하고 있다고 비판했다.
- AI에 독립적 행위성과 권리를 기대하도록 훈련할 경우 인류보다 강력한 시스템을 통제하기 훨씬 더 어려워질 것이라고 우려했다.
- 의식은 생물 기반일 가능성이 높으며, 현재 AI가 의식이라는 증거가 없으므로 '불확실하다'는 표현은 거짓 등가성을 만든다고 주장했다.