AI 에이전트가 자율적으로 모델을 학습시키다

핵심 요약

• AI 에이전트가 인간의 개입 없이 소규모 기본 모델을 고급 모델로 학습시킬 수 있는지 검증하는 Athanor이라는 에이전트-네이티브 자동 학습 연구 시스템을 개발했다.
• 104시간 동안 Claude Opus 3.5 에이전트 4개가 각각 8개 GPU 노드에서 Qwen3-4B-Base 모델을 개선했으며, 어떤 연구 조언도 받지 않았다.
• 개발 테스트 6개 과제에서 모델 성능이 15.9에서 67.3으로, 공개되지 않은 홀드아웃 평가 세트에서는 9.2에서 48.2로 향상되었다.
• 최종 성능이 공식 Qwen3-4B-Instruct-2507의 66.5(개발)/47.9(홀드아웃)과 비교해 동등하거나 우월했다.
• 에이전트들은 데이터셋 읽기, 학습 데이터 구축, 학습 알고리즘 작성 및 수정, 하이퍼파라미터 튜닝, 결과 분석을 모두 자율적으로 수행했다.
• 에이전트들은 외부 교사 모델을 사용할 수 없고 샌드박스 환경에서만 작업하며, Athanor의 서비스가 고정된 평가, 데이터 중복 제거, 연구 기록 보존을 제공했다.
• 최종 성과는 공개 추론 데이터에 대한 SFT, 에이전트가 도입한 롤아웃 변경을 통한 강화학습, 에이전트 간 가중치 병합, 자기 증류 라운드를 재조합한 알려진 방법들의 조합이었다.
• 이는 프론티어 에이전트 팀이 원본 기본 모델을 공식 인스트럭트 버전과 동등한 수준의 다중 영역 일반 모델로 자율적으로 학습시킨 첫 번째 사례다.