LLM 강화학습의 숨은 함정, "사고 누출" 현상 밝혀지다
원제 The Thinking Leakage in Reinforcement Learning for LLMs
추천 24댓글 2
Key Point
하이브리드 추론 모델의 강화학습 개선이 실제로는 새로운 능력 학습이 아닌 기존 능력의 재활성화일 수 있다는 점이 모델 평가와 개선 방향에 실제 영향을 미친다.
핵심 요약
- Qwen3 같은 하이브리드 추론 모델은 채팅 템플릿 토큰으로 THINK 모드와 NO-THINK 모드를 전환하며, NO-THINK 모드에서 강화학습(GRPO)으로 훈련하면 추론 성능이 향상된다고 보고돼왔다.
- 연구진이 Qwen3-1.7B, 4B, 8B를 NO-THINK 모드에서 GRPO로 훈련한 결과, 성능 향상의 대부분이 '사고 누출(thinking leakage)'로 설명됨을 발견했다.
- 정확도가 높아지면서 응답이 더 길어지고 숙고적이 되며, 원본 모델의 THINK 모드 특성을 닮아가고, 모델 내부 활성화가 THINK 모드로 이동한다.
- 강화학습 업데이트를 더 크게 확대하면 THINK 모드 동작이 증가하여 THINK 모드 정확도에 접근하지만 이를 초과하지는 못한다.
- Qwen3-8B에서 강화학습 훈련 모델의 저차원 THINK 관련 활성화 부분공간을 원본 모델값으로 교체하면 강화학습 이득의 대부분이 사라지며, 역으로 교환하면 상당한 이득이 원본 모델로 전이된다.
- 강화학습으로 유발된 변화는 빈 생각 블록을 읽는 어텐션 헤드를 통해 전파되며, GRPO 학습 신호의 메커니즘에서 우대받는 응답들이 더 THINK 같은 특성을 띠고 있다.
- 결론적으로 NO-THINK 모드의 성능 향상은 원본 모델에 이미 존재하던 추론 능력의 재활성화를 크게 반영한다.