언어모델의 숨은 의미 읽는 법: 렉시컬 참조틀 제안

핵심 요약

• 언어모델의 어휘는 임베딩과 언임베딩에서 고정되지만, 중간의 잔여스트림 상태는 기존 방법으로는 모델의 처리 방식을 제대로 반영하지 못한다고 지적한다.
• 연구팀은 각 은닉 상태가 다음 층들의 읽기 방식과 맥락에 맞춰진 '네이티브 참조틀'을 가진다고 주장한다.
• 렉시컬 참조틀은 모델의 남은 층들을 통해 상태를 읽되, 정해진 횟수의 위치 간 어텐션과 나머지는 전형적인 어텐션 출력으로 근사한다.
• 고정된 렌즈는 네이티브 틀의 일관성 제곱근인 0.30~0.35를 넘지 못하지만, 1차 렉시컬 참조틀(LexFrame[1])은 0.97을 달성하고 모델 출력과 0.16 나츠 이내의 거리를 유지한다.
• 계수들이 패칭 기반 귀속 분석보다 더 충실하게 예측을 설명하며, 렉시컬 기저는 특정 토큰에만 영향을 미치면서 예측을 조종할 수 있다.
• 렉시컬 참조틀로 신뢰도 높은 읽기가 가능해지면 조기 종료 시 SmolLM3-3B에서 45%, OLMo3-7B에서 42% 층을 건너뛸 수 있는 반면 렌즈는 거의 불가능하다.
• 이 방법으로 모델의 모든 은닉 상태를 읽을 수 있고, 귀속 분석이 가능하며, 조종도 가능해진다.