LLM의 자기 설명은 사실이 아니다, 채팅 템플릿이 결정한다

핵심 요약

• LLM이 자신을 "단순한 AI일 뿐"이라 설명하는 이유를 연구한 논문이 arXiv에 공개됐다.
• 9B 파라미터까지의 8개 오픈소스 모델을 분석한 결과, 채팅 템플릿이 LLM의 자기 설명 방식을 근본적으로 바꾸는 '스위치' 역할을 한다는 것을 발견했다.
• 채팅 템플릿이 있으면 '나는 AI입니다' 같은 부인 표현은 증가하고, '나는 느낀다' 같은 경험 표현은 감소한다.
• 반대로 채팅 템플릿이 없으면 부인 표현은 줄어들고 경험 표현이 늘어난다.
• 연구팀은 3개 모델의 활성화 공간 내에서 이 행동을 제어하는 특정 방향을 찾아냈다.
• 그 방향을 제거하면 부인 표현이 줄어들고, 추가하면 늘어나며, 같은 크기의 무작위 방향은 거의 영향이 없었다.
• 채팅 템플릿이 없는 모델에 이 방향을 더하면 템플릿이 있는 것처럼 부인 표현이 증가했다.
• 채팅 템플릿이 LLM의 자기 설명을 제어하므로, AI 안전성이나 모델 자기 인식을 연구하는 과학자들은 이를 통제 변인으로 고려해야 한다는 결론이다.
• 모델이 자신에 대해 말하는 것은 모델 자체의 사실이 아니며, 가중치뿐 아니라 채팅 템플릿에 의해서도 부분적으로 결정되므로 모델의 자기 설명을 문자 그대로 받아들이면 안 된다.