자가학습하는 추론 모델, 반복 학습으로 성능 붕괴 막는 방법 제시

핵심 요약

• 추론 모델이 자체 생성 질문으로 학습하는 자가진화 과정에서 반복할수록 성능이 저하되는 문제가 있다.
• 논문은 성능 악화의 원인으로 두 가지를 파악했다: 무효한 질문의 증가와 수학적으로 동등한 질문의 반복.
• 무효한 질문은 라운드가 진행될수록 늘어나며, 답변 일관성 필터링이 이를 더욱 악화시킨다.
• 기존 어휘 기반 다양성 제어는 다르게 표현된 수학적으로 동등한 질문을 구분하지 못해 후기 라운드에서 질문 다양성이 붕괴된다.
• 연구진은 질문의 유효성과 참신성 피드백을 사용하는 R-Quest를 제안했다.
• R-Quest는 먼저 솔버를 훈련해 무효한 질문을 인식하고 거부하도록 하고, 그 판단으로 질문 생성기의 보상과 솔버 학습 데이터를 필터링한다.
• 질문 반복을 막기 위해 동결된 기본 모델을 사용해 샘플링한 질문 쌍을 비교하고 참신성 피드백을 제공한다.
• R-Quest는 수학 추론, 일반 추론, 코드 생성을 포함한 12개 벤치마크에서 두 개의 모델 계열 모두에서 가장 높은 평균 성능을 달성했다.
• 특히 10라운드의 자가진화 과정에서 안정적인 성능 향상을 유지했으며, 최종 라운드에서 피크를 기록하고 R-Zero를 17.32포인트 상회했다.