언어모델이 언어모델 개선을 학습하다

핵심 요약

• LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다.
• 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다.
• 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다.
• 이를 해결하기 위해 LM2LM을 제안했다. 실제 실험 기록을 바탕으로 학습한 연구 월드 모델(RWM)을 보상 모델로 삼아 강화학습으로 LLM을 훈련한다.
• 피드백 신뢰도를 유지하기 위해 RWM이 높게 평가한 현재 정책의 제안을 주기적으로 실행하고 실제 결과를 RWM의 맥락에 추가한다.
• 자기회귀 및 확산 모델 기반 8가지 LM 개발 환경에서 평가한 결과, Qwen 3.8-27B이 300개 실제 실험 기록을 가진 GPT-6-sol을 능가했다.
• 데이터 생성 비용은 33% 낮았으며, 훈련 중 보지 못한 모델 계열에도 일반화된다.