AI 연구자들, 재귀적 자기개선까지 가는 길 논쟁
Key Point
AI가 지수적으로 자기 자신을 개선할 수 있다는 시나리오가 과장된 것 아닌지, 실제 프론티어 연구자들이 어떤 장애물을 현실적으로 보고 있는지 알 수 있다.
핵심 요약
- OpenAI 공동창립자 존 슐만, Zyphra CTO 베렌 밀리지, Baseten 모델 훈련 담당자 찰리 오닐이 재귀적 자기개선(RSI)의 실현 가능성을 토론했다.
- 만약 2036년에 초지능이 세상을 근본적으로 바꾸지 못한다면, 가장 가능성 높은 기술적 이유는 메타러닝 일반화의 어려움과 연속학습(continual learning) 문제라고 논의했다.
- AI 모델이 벤치마크에서는 우수하지만 현실 환경으로의 적용(sim-to-real gap)에서 계속 막힐 수 있고, 이것이 성능 향상 사이클을 반복시킬 수 있다고 밀리지는 지적했다.
- 슐만은 현재 모델들이 일정 수준에서 병목 현상을 겪는다며, 새로운 모델이 나올 때마다 사람들이 'AGI가 왔다'고 생각하지만 한 달 후면 한계를 느낀다고 설명했다.
- 오닐은 현재의 트랜스포머 + 강화학습 조합이 '칩에 담을 수 있는 최적의 학습자'에서 얼마나 멀리 떨어져 있는지가 핵심이며, AI 연구자를 능가하는 에이전트가 나와도 병렬 처리 이점이 모든 병목을 극복할지 불확실하다고 말했다.