반복 모델이 긴 문제를 푸는 법: 진행도 정렬 재귀

핵심 요약

• 반복 실행 가능한 언어모델은 테스트 시점에 더 많은 반복을 수행할 수 있지만, 이것이 더 긴 문제를 푸는 데 도움이 되지 않는 문제가 있다.
• 순차적 상태 추적 작업에서 최종 답변 감독만으로는 각 반복이 얼마나 진행해야 하는지 명시하지 않으며, 반복된 업데이트가 재귀 상태의 스케일을 변화시킨다.
• PAR(Progress-Aligned Recurrence)는 k번째 반복의 예측을 처음 k개 연산 후의 상태와 일치하도록 학습하고, 재귀 상태를 첫 반복의 규범으로 정규화한다.
• Qwen2.5-0.5B 모델을 최대 32개 이동으로 학습했을 때 swap-S_5에서 512개 이동(훈련 길이의 16배)에서 95.5% 평균 전체 상태 정확도를 달성했다.
• 같은 백본에서 RLT는 55.7%, 명시적 사고의 연쇄는 0.8%의 성능만 보였다.
• 제어된 S_5 절제 실험에서 규범 앵커링을 제거하면 외삽 계수가 16배에서 2.2배 미만으로 감소하고, 진행도 정렬 목표를 최종 답변 감독으로 대체하면 최대 8배로 감소한다.
• 학습된 완료 판독기(readout)는 제공된 정지 깊이 없이 답변할 시점을 선택한다.
• 중간 레이블이 없는 경우, 접두사 자기 증류(prefix self-distillation)가 최종 답변만 사용해 더 짧은 문제 접두사에서 대응 관계를 유도한다.
• 이 접근 방식은 순차적 상태 추적 작업 전체에서 성능 향상을 입증하며, 추가 재귀 깊이가 더 긴 문제에 유용하도록 하는 작업 구조를 제시한다.
• 결론적으로 중간 예측과 상태 스케일을 함께 훈련해야 추가 재귀 깊이가 더 긴 문제 해결에 유용해진다.