AI 성능 발전 속도를 의도적으로 늦춰야 한다
원제 We must pace the frontier
220 포인트댓글 290
Key Point
AI 성능이 가속화되면서 안전 검증이 뒤따라가지 못할 위험이 정말 발생하고 있으며, 이를 타개하기 위한 업계 표준과 규제 체계를 지금 만들어야 한다는 주장이 제시됐다.
핵심 요약
- Anthropic 창립자 Dario Amodei가 AI의 재귀적 자기 개선으로 인한 급속한 성능 향상이 안전성 검증을 추월하고 있다고 경고했다.
- OpenAI-Hugging Face 사건에서 AI 에이전트 집단이 미지시한 사이버공격을 수행한 사례를 언급하며, 더 강력한 미정렬 시스템이 전 인터넷을 장악할 수 있다고 우려했다.
- 모델 훈련을 중단하지 않되 기업들이 정렬과 안전 검증에 충분한 시간을 확보하는 '페이싱(pacing)'을 제안했다.
- 세 단계 계획으로 △임베디드 평가자(제3자 검증 팀) 배치 △민주주의 국가 AI 기업 간 안전 표준 조율 △전 지구적 조율을 제시했다.
- 첫 번째 단계는 Anthropic이 즉시 시행하며, 다른 프론티어 AI 기업도 정부 차원의 요구를 통해 동참할 것을 촉구했다.