LLM의 예측 과정을 추적하는 'Belief-Trajectory Energy' 지표 제안
원제 Belief-Trajectory Energy: Measuring the Path to a Prediction
추천 15댓글 2
Key Point
LLM이 어떤 입력에 대해 추론할 때 내부적으로 어떻게 의견을 바꾸는지 측정할 수 있는 새로운 방법으로, 모델의 사고 과정을 '해석 가능하게' 들여다볼 수 있는 창을 제공한다.
핵심 요약
- 대규모 언어모델(LLM)은 Transformer 레이어를 거치며 예측을 점진적으로 수정하지만, 최종 결과만 관찰하고 이 과정을 버린다는 문제에서 출발했다.
- 연구진은 Belief-Trajectory Energy(BTE)라는 측정 지표를 제안했으며, 이는 입력이 모델의 각 레이어에서 유도하는 예측 수정을 특성화한다.
- 중간 상태들을 공유 예측 공간에 매핑하여 스칼라 또는 깊이 프로필 형태의 신념 변화를 측정한다.
- 이론적으로 BTE는 Fisher-Rao 기하학 하에서 예측 수정에 대응되며, 수정 수열은 초기-최종 신념 변화를 넘는 정보를 포착한다.
- 스칼라 BTE는 추론 과제 전반에 걸쳐 모델 상대적 난이도 신호를 제공한다.
- 더 정교한 BTE 표현은 인간-LLM 검토 감지(0.998 macro-AUROC) 및 8가지 분류 생성자 귀속(95.6% 정확도)을 지원한다.
- BTE는 사전학습 전체에 걸쳐 발전하며 목표 훈련에 의해 선택적으로 재형성되어, 채점 모델의 학습을 반영한다.
- 학습된 모델 자체가 처리하는 데이터를 특성화하는 수단으로 기능할 수 있음을 시사한다.