추론 시간이 길수록 모델은 논리를 문자 그대로 읽는다
원제 Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally
추천 19댓글 2
Key Point
추론 모델이 생각 시간에 따라 언어 이해 방식을 바꾸는 현상을 처음 체계적으로 분석한 연구로, 이는 장시간 추론이 반드시 더 나은 결과를 낼 수 없음을 보여준다.
핵심 요약
- '일부 학생이 합격했다'라는 문장에서 인간은 '모두 합격한 것은 아니다'라는 함축의미를 도출하는데, 추론 모델에서 생각 시간을 늘리면 이런 일상적 추론이 어떻게 달라지는지를 연구했다.
- 동일한 모델 가중치를 유지하면서 생각 시간만 변경해 어떤 해석을 선택하는지 기록하고, 추론을 중간에 끊어서 답변을 요청하는 도구로 변화 지점을 파악했다.
- 대부분의 오픈소스 추론 모델과 GPT-4o에서 생각 시간이 늘어나면 'some(일부)'의 함축의미인 '모두 아님'과 'or(또는)'의 함축의미인 '둘 다 아님'이 사라진다.
- 간접 답변 같은 맥락 기반 추론은 오히려 개선되었다.
- 모델이 먼저 함축 의미를 포함한 해석을 고려했다가 나중에 취소하는 과정을 추적으로 확인했다.
- 추론 시점에서 초기 해석을 사용하면 문자 그대로의 정확성을 잃지 않으면서 함축의미를 복구할 수 있다.
- 추론 모델의 평가는 정확도뿐 아니라 해석 능력도 함께 측정해야 한다는 점을 지적했다.