완료된 경험으로 예측력 높이는 AI 학습법 제시

핵심 요약

• 강화학습에서 보상이 없거나 희소할 때 에이전트가 학습 신호를 얻기 어려운 문제를 다룬 논문이다.
• 기존 RLVR(검증 가능 보상 강화학습) 방식은 스칼라 보상만으로 신호를 만들어 그룹 상대 목표에서 모든 시도가 같은 보상받으면 실패한다.
• 저자는 "Self-Retrospection Distillation(SRD)" 기법을 제안해 이미 완료된 궤적(trajectory)의 정보를 사전 예측 학습에 활용한다.
• SRD는 인터랙션 후 얻은 궤적 정보를 정책의 사전 예측 모델로 증류하되, 실제 추론 시에는 명시적으로 생성할 필요 없다.
• 도구 통합 추론과 장기 에이전트 작업 10개 벤치마크에서 SRD는 기존 RLVR과 자기 증류 기법에 비해 최대 24.2 포인트 성능 향상을 보였다.
• 보상 신호가 희소한 상황에서 특히 유리해서 전체 그룹의 37~98%가 동일 보상인 경우에도 학습할 수 있다.
• 2B 모델 규모에서 98% 그룹이 모두 실패 사례일 때 RLVR은 0.0% 성공률이지만 SRD 추가 시 같은 예산으로 60.6% 성공률에 도달했다.
• 결과는 과거 에이전트 경험이 행동 평가나 개선뿐 아니라 인터랙션 전 예측 표현 형성에도 유용함을 시사한다.