모델이 스스로 배우는 시점을 판단하다

핵심 요약

• 재귀적 자기개선(recursive self-improvement)에서 모델은 유용한 학습 경험을 얻는 것뿐 아니라 언제 새로운 경험이 필요한지 판단해야 한다.
• 기존 방식들은 다음에 무엇을 학습할지에 집중했지만, 언제 새 경험을 도입할지는 충분히 다루지 않았다.
• 또한 자기 일관성이나 다수결로 학습 목표를 만들어 감독 신호가 모델의 불확실한 예측에 의존하는 문제가 있다.
• A-RSI는 이 두 문제를 분리해 다룬다: 훈련 역학(training dynamics)으로 새 경험 습득 시점을 결정하고, 새 작업의 답은 독립적으로 검증한다.
• A-RSI는 훈련 로그의 보상 변화와 정확도를 모니터링해 학습 신호가 떨어질 때 작업 풀을 새로고침하며, 검증이나 테스트 점수에 의존하지 않는다.
• 모델이 작성한 프로그램의 정적 라이브러리가 다중양식(multimodal) 질문을 생성하고 참조 답변을 도출한다.
• 작업 생성 계약을 명시하고, 보상과 새로고침 규칙의 선택된 속성을 자동으로 검증하며, 생성된 답변을 별도로 감사한다.
• 훈련 루프는 외부 학습 샘플이나 인간이 쓴 답변 레이블을 사용하지 않는다.
• 11개 벤치마크 스위트에서 A-RSI는 평균 성능을 57.77%에서 61.05%로 올렸으며, 이는 800개의 새로운 작업을 사용했을 때의 결과다.