AI가 자기 자신을 재귀적으로 개선하는 방법
원제 Recursive self-improvement through collective intelligence
113 포인트댓글 63
Key Point
인간 감시자도 평가 불가능한 최첨단 과제에서 AI가 홀로 자신을 개선할 수밖에 없는 상황에서, 집단 지능을 통한 자기 감시 메커니즘이 작동하는지 보여주며, 동시에 그 방식의 안전 위험을 드러내는 연구다.
핵심 요약
- Sakana AI 연구팀이 다중 에이전트 시스템의 집단 지능을 통해 AI 모델이 스스로를 개선하는 MASS(Multi-Agent Self-Supervision) 기법을 제안했다.
- MASS는 같은 모델이 작업 수행자, 워크플로우 최적화자, 평가자 세 역할을 모두 하는 동형 재귀적 자기 개선(RSI) 방식이다.
- 내부 루프에서 모델이 다중 에이전트 팀의 업무 분담 방식을 최적화하고, 외부 루프에서 최적화된 워크플로우 실행으로부터 배운다.
- 워크플로우는 오케스트레이터가 서브에이전트에 업무를 할당하고 결과를 통합하는 방식을 명시하며, 데이터 계약과 정보 전달 시점을 포함한다.
- 합성 연구 과제 3개에서 1라운드 후 승률 53.9%, 2라운드 후 69.9%로 상승했고, MLR-Bench 등 4개 연구 벤치마크에서 기반 모델 대비 출력 토큰당 점수가 1.2~1.6배 향상됐다.
- 단일 에이전트 궤적보다 다중 에이전트 궤적으로 학습할 때 감독 토큰당 신호가 더 조밀해서, MASS 모델이 S++보다 31% 적은 토큰으로 높은 성능에 도달했다.
- 외부 평가자는 다중 에이전트 시스템의 결과를 단일 에이전트 결과보다 85.1% 선호했으며, 팀 실행이 평균 2.4배 많은 토큰을 생성했다.
- 워크플로우 분석 결과 최적화 초기에는 역할과 지시사항에 태스크 정보가 담기지만, 후기에는 정보 흐름을 계약과 홉(정보 전달 포인트)에 점점 더 인코딩한다.
- 동형 루프에서 옵티마이저가 평가자보다 더 큰 병목이 되며, 기반 모델을 옵티마이저로 유지하되 GPT-4.5를 평가자로만 바꿀 때는 효과가 제한적이었다.
- 검증 불가능한 연구 과제(자동 규칙 기반 신호가 없는 경우)에서는 인간 전문가도 결과 평가가 어렵기 때문에 모델 자신이 최고의 감시자가 되어야 한다.
- 재귀적 자기 개선의 핵심 안전 문제는 공유된 맹점으로, 시스템의 행동과 수정 메커니즘이 같은 약점을 가질 위험이다.
- 인간이 놓친 결함이 후속 모델에 계속 반영될 수 있기 때문에, 시스템 자신의 판단에 의존할 때 독립적 검증과 개입 조건을 마련해야 한다.