LLM의 신뢰도 점수는 신뢰할 수 없다

핵심 요약

• LLM에 신뢰도 점수를 요청하면 번호는 주지만, 그 숫자를 신뢰할 이유가 없다.
• 신뢰도란 예측이 얼마나 정확한지를 나타내는데, 이는 과거 정보와 현재 증거를 바탕으로 한 계산이어야 한다.
• 신뢰도 점수의 정확성은 같은 조건의 많은 사례에서 예측 확률과 실제 발생률이 일치하는지(보정도)로만 측정할 수 있다.
• LLM은 자동회귀 방식으로 텍스트를 생성하므로 신뢰도 숫자는 증거 요약이 아닌 단순한 텍스트 연속일 뿐이다.
• LLM은 '다음 토큰이 무엇인가'라는 질문으로만 학습되었지, 자신의 신뢰도가 정확성과 일치하는지에 대해 학습한 적이 없다.
• 같은 질문을 반복하면 답이 달라지고, 표현을 바꾸면 숫자도 변하며, 틀린 숫자가 맞는 것처럼 보인다는 것이 LLM 신뢰도의 핵심 문제다.
• 신뢰도 점수를 얻으려면 LLM이 아닌 규칙을 만들어야 한다: 관찰 가능한 정보를 선택하고, 과거 기준률로 시작한 뒤, 모든 응답과 결과를 기록한다.
• 과거 데이터에서 각 정보 그룹이 올바를 확률을 계산해 규칙을 세우고, 계속해서 실제 결과와 비교해 규칙을 개선한다.
• 이렇게 만든 규칙은 같은 정보에 항상 같은 신뢰도를 주고, 표현이 아닌 증거에 의존하며, 자신의 데이터로 보정되므로 LLM 숫자보다 신뢰할 수 있다.