AI 연구자들, 재귀적 자기개선까지 가는 길 논쟁
Key Point
AI가 지수적으로 자기 자신을 개선할 수 있다는 시나리오가 과장된 것 아닌지, 실제 프론티어 연구자들이 어떤 장애물을 현실적으로 보고 있는지 알 수 있다.
핵심 요약
- OpenAI 공동창립자 존 슐만, Zyphra CTO 베렌 밀리지, Baseten 모델 훈련 담당자 찰리 오닐이 재귀적 자기개선(RSI)의 실현 가능성을 토론했다.
- 만약 2036년에 초지능이 세상을 근본적으로 바꾸지 못한다면, 가장 가능성 높은 기술적 이유는 메타러닝 일반화의 어려움과 연속학습(continual learning) 문제라고 논의했다.
- AI 모델이 벤치마크에서는 우수하지만 현실 환경으로의 적용(sim-to-real gap)에서 계속 막힐 수 있고, 이것이 성능 향상 사이클을 반복시킬 수 있다고 밀리지는 지적했다.