LLM의 생각과 말이 일치하는지 측정하고 개선하기
원제 Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
추천 11댓글 2
Key Point
LLM이 CoT로 설명하는 추론이 실제 내부 계산과 일치하지 않을 수 있다는 문제를 직접 측정하고 해결하는 방법을 제시하기 때문에, 모델 신뢰성과 해석 가능성을 중시하는 개발자와 연구자가 반드시 알아야 한다.
핵심 요약
- Chain-of-thought(CoT) 추적은 LLM이 답에 도달하는 과정을 보여주는 것으로 여겨지지만, 실제로는 모델의 내부 계산을 제대로 반영하지 못하고 최종 답에 영향 없이 변경될 수 있다.
- 연구진은 CoT가 설명하는 추론과 해석 도구로 감지한 실제 내부 추론 전략 간의 일치도를 측정하는 CIA(CoT-Interpretability Alignment) 지표를 제안했다.
- 3개 LLM으로 두 단계 질문 응답, 힌트 개입, 정수 곱셈 3개 작업에서 CIA를 평가한 결과, 모든 작업에서 제한된 일치도(44.8-75.9%)를 보였다.
- 사후 훈련을 통해 작업 정확도와 모수적 신실성(parametric faithfulness) 신호를 보상으로 설정해 CIA를 개선했고, CoT의 모수적 신실성을 크게 향상시키면서 작업 정확도를 유지 또는 개선했다.
- 일반화 패턴 등 심층 분석을 제공하며, CoT 모수적 신실성을 감시하는 프레임워크와 모델의 명시적 추론을 더 신뢰할 수 있게 만드는 경로를 제시한다.
- 코드와 데이터는 깃허브에서 공개되어 있다.