시작 토큰만 바꿔도 AI 추론 능력이 깨어난다
원제 Base Models Can Reason By Taking a Cue From Training Data
추천 12댓글 1
Key Point
기본 모델의 추론 능력이 실제로는 훈련 데이터의 통계적 연관성에 기반하며, 프롬프트 엔지니어링만으로도 RL 학습 수준의 성능 향상을 얻을 수 있다는 점을 보여주기 때문입니다.
핵심 요약
- 응답 시작 부분의 토큰 선택이 기본 언어모델의 추론 능력을 크게 좌우한다는 연구 결과가 공개됐다.
- 예를 들어 Olmo-3-7B는 시작 토큰 '.\n\nOkay'를 고정하면 MATH-500 정확도가 42%에서 78%로 올라가고, Qwen3-14B는 'Alright,'를 사용하면 72%에서 87%로 상승한다.
- 강화학습(RL)으로 학습한 모델도 내부적으로는 이러한 효과적인 토큰 큐를 더 자주 사용하게 되며, RL 성능 향상의 상당 부분이 이 토큰 큐 효과에서 비롯된다.
- 연구진은 훈련 데이터를 직접 수정하는 인과 개입 실험으로 'chicken' 같은 임의의 단어를 효과적인 추론 큐로 변환하거나, 기존 큐의 효과를 제거할 수 있음을 보였다.
- 'Think duck duck goose' 같은 임의의 프롬프트도 'Think step by step'만큼 추론을 유도할 수 있게 만들 수 있었다.
- 서로 다른 토큰 큐가 생성하는 숨겨진 상태 표현(hidden state)은 훈련 데이터의 서로 다른 문서 유형과 상관관계를 보인다.
- 언어모델 안전성에 대한 사례 연구에서도 다양한 토큰 큐가 훈련 데이터의 서로 다른 유형에 대응하는 서로 다른 거부/순응 행동을 유도함을 확인했다.