모델이 스스로 배우는 시점을 판단하다
Key Point
모델 스스로 데이터를 생성하며 학습하는 자기개선 시스템에서, 언제 새 학습이 필요한지 자동으로 판단하는 기법이 벤치마크에서 성능 향상을 달성했기 때문이다.
핵심 요약
- 재귀적 자기개선(recursive self-improvement)에서 모델은 유용한 학습 경험을 얻는 것뿐 아니라 언제 새로운 경험이 필요한지 판단해야 한다.
- 기존 방식들은 다음에 무엇을 학습할지에 집중했지만, 언제 새 경험을 도입할지는 충분히 다루지 않았다.
- 또한 자기 일관성이나 다수결로 학습 목표를 만들어 감독 신호가 모델의 불확실한 예측에 의존하는 문제가 있다.