언어모델의 불확실성을 해석 가능하게 측정하는 'U-Space' 제안

핵심 요약

• 대형 언어모델이 고위험 결정을 내릴 때 그 답변의 신뢰도를 판단하기 어렵다는 문제가 제기되고 있다.
• 기존 불확실성 정량화 방법은 반복 생성이나 별도 학습이 필요하고, 불확실성이 어디서 발생하는지 보여주지 못한다.
• 생성 길이가 불확실성 추정과 정답률과 강하게 연관되어 있어서, 추정기가 불확실성 정보인지 단순히 길이 정보인지 구분하기 어렵다.
• 연구진은 U-Space라는 저차원 부분공간을 제안했으며, 이는 모델의 진화하는 불확실성을 측정 가능하고 해석 가능하게 만든다.
• 의미론적 앵커(doubt와 certainty)를 식별하고 이들의 언임베딩 방향을 잔여 공간으로 매핑한 뒤 직교 기저로 결합한다.
• U-Lens가 각 토큰 상태를 이 기저 벡터에 투사하여 해석 가능한 토큰 수준의 불확실성 지도를 생성하거나 스칼라 점수로 집계할 수 있다.
• 이 방법은 정답 레이블, 반복 생성, 별도 학습이 모두 불필요하다.
• 추론 벤치마크에서 신뢰도 점수가 기존 기준선을 능가했으며, 길이 제어 평가에서도 우수하고 지도학습 추정기보다 더 안정적으로 전이된다.