쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
2건 · "residual stream"조건 지우기 ×
001▲ 110 · 댓글 29LLM의 내부 상태 지도: 수천 개 대화의 벡터 풍경Qwen 3.1-1.7B 모델의 residual stream(중앙 공유 작업 공간)에서 수천 개 대화의 내부 표현을 시각화한 대화형 지도를 구축했다.AI · 머신러닝 · What thousands of conversations look like inside a language model
Key PointLLM이 대화를 처리할 때 내부 벡터 공간에서 어떤 구조를 형성하는지, 다국어와 코드가 어떻게 배치되는지 구체적으로 보여줌으로써 모델의 표현 방식과 한계를 이해할 수 있다.
핵심 요약
- Qwen 3.1-1.7B 모델의 residual stream(중앙 공유 작업 공간)에서 수천 개 대화의 내부 표현을 시각화한 대화형 지도를 구축했다.
- 100개 주제에 걸친 영어·중국어·독일어·크로아티아어 문답 900개와 Python 코딩 예제 90개를 처리해 각 토큰 위치의 2,048차원 벡터를 기록하고 3차원 공간으로 투영했다.
- 각 토큰은 임베딩 테이블에서 시작 벡터를 받아 모델의 레이어들이 문맥에 따라 변환하는데, 최종 토큰 상태들을 연결한 선은 각 대화의 경로를 나타낸다.
전체 요약 11문장 읽기 → 002▲ 47 · 댓글 2언어모델의 숨은 의미 읽는 법: 렉시컬 참조틀 제안언어모델의 어휘는 임베딩과 언임베딩에서 고정되지만, 중간의 잔여스트림 상태는 기존 방법으로는 모델의 처리 방식을 제대로 반영하지 못한다고 지적한다.AI · 머신러닝 · Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

Key Point기존 해석 기법과 달리 모델이 실제로 상태를 처리하는 방식을 따라 언어모델의 중간 계산을 읽을 수 있게 되어, 투명성·효율성·제어성이 모두 향상된다.
핵심 요약
- 언어모델의 어휘는 임베딩과 언임베딩에서 고정되지만, 중간의 잔여스트림 상태는 기존 방법으로는 모델의 처리 방식을 제대로 반영하지 못한다고 지적한다.
- 연구팀은 각 은닉 상태가 다음 층들의 읽기 방식과 맥락에 맞춰진 '네이티브 참조틀'을 가진다고 주장한다.
- 렉시컬 참조틀은 모델의 남은 층들을 통해 상태를 읽되, 정해진 횟수의 위치 간 어텐션과 나머지는 전형적인 어텐션 출력으로 근사한다.
전체 요약 7문장 읽기 →