LLM이 '생각하지 말라'는 지시를 무시하는 현상
원제 Thinking Inertia: LLMs Keep Thinking When Told Not To
추천 221댓글 3
Key Point
LLM 시스템의 안전성과 통제 가능성 평가에서 '추론을 멈추게 하기'가 예상보다 어렵다는 점을 보여주는 첫 체계적 실증 연구로, 모델 컨트롤 전략의 한계를 드러낸다.
핵심 요약
- LLM의 '생각 없음' 모드 연구: 모델이 추론을 멈출 수 있는지 실증적으로 평가했다.
- 기존 평가 방식의 문제: 생각 모드 비활성화나 긴 텍스트 부재로 정의하는 것은 신뢰할 수 없다.
- 새로운 평가 지표 3가지: (i) 정답만 출력하는 엄격한 준수도(Empty-Thinking Rate), (ii) 질문과 답변 전 텍스트의 관련성(Instruction-aware Question-Pre-answer Relevance), (iii) 명시적 추론 감지(LLM-as-judge Explicit Inference Rate).
- '사고 관성' 발견: 엄격한 제어에도 불구하고 명시적 추론이 지속되며, 답변 선택지가 많아질수록 더 심해진다.
- 과제별 성능 차이: 참/거짓 및 객관식은 정확도 유지, 자유형 질문은 정답 준수와 과제 정확도 사이의 트레이드오프 발생.
- 핵심 발견: 선택지를 제공하면 정답만 출력하기가 쉬워진다.
- 결론: 모델 설정이나 지시만으로는 명시적 추론을 막을 수 없으며, 추론 능력과 함께 생각 멈춤 능력도 체계적으로 평가해야 한다.