추론 모델의 '대기' 토큰, RL이 아닌 학습 데이터에서 온다
원제 Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
추천 14댓글 3
Key Point
추론 모델의 향상이 실제로 RL의 효과인지 아니면 데이터 상속인지 구분해야 할 핵심 연구로, 모델 평가 방식과 RL 기술 검증의 신뢰성을 근본적으로 재검토하게 한다.
핵심 요약
- 추론 모델이 단계를 재검토하기 전에 {wait} 토큰을 쓰는 것이 강화학습(RL)의 성과로 여겨져 왔으나, RL이 이 현상을 만든 것이 아니라 학습 데이터에서 상속받은 것일 수 있다는 가설을 검증했다.
- 공개 모델의 학습 이력을 추적하며 빈도, 위치, 형태, 사용 방식을 라벨 없이 지수화하고 주입 오류 테스트로 {wait} 토큰의 출처를 분석했다.
- RL을 적용하지 않은 초기 모델(zero-RL)은 {wait} 토큰을 거의 생성하지 않으며, {wait}이 없는 기반 모델에 RL을 적용해도 MATH-500 정확도는 크게 올라가지만 {wait} 토큰 사용은 거의 증가하지 않는다.
- {wait} 토큰은 주로 학습 데이터에서 도입되며, OLMo-3에서는 학습 중 중반에, 대부분의 모델에서는 추론 데이터셋으로 미세조정할 때 나타난다.
- 기반 모델이 이미 {wait}을 사용하는 경우, OLMo-3과 MiMo의 공개 RL 레시피는 사용 빈도를 증가시키지만 KL 무관 GRPO 방식은 증가시키지 않는다.
- OLMo-3의 RL 레시피는 {wait} 토큰의 형태를 변형시켜 더 민감하면서도 더 관대한 신호로 만들고, 미세조정 후 RL은 이를 거의 변화시키지 않으며, GRPO 레시피는 미세조정으로 심어진 마커를 제거한다.
- 마커의 빈도만으로는 RL이 유도한 추론 능력을 판단할 수 없으며, LLM을 판사로 사용하는 자동 평가 지표는 인간 라벨과 반대되는 결과를 낼 수 있으므로 주의가 필요하다.