LLM의 내부 상태 지도: 수천 개 대화의 벡터 풍경
원제 What thousands of conversations look like inside a language model
110 포인트댓글 29
Key Point
LLM이 대화를 처리할 때 내부 벡터 공간에서 어떤 구조를 형성하는지, 다국어와 코드가 어떻게 배치되는지 구체적으로 보여줌으로써 모델의 표현 방식과 한계를 이해할 수 있다.
핵심 요약
- Qwen 3.1-1.7B 모델의 residual stream(중앙 공유 작업 공간)에서 수천 개 대화의 내부 표현을 시각화한 대화형 지도를 구축했다.
- 100개 주제에 걸친 영어·중국어·독일어·크로아티아어 문답 900개와 Python 코딩 예제 90개를 처리해 각 토큰 위치의 2,048차원 벡터를 기록하고 3차원 공간으로 투영했다.
- 각 토큰은 임베딩 테이블에서 시작 벡터를 받아 모델의 레이어들이 문맥에 따라 변환하는데, 최종 토큰 상태들을 연결한 선은 각 대화의 경로를 나타낸다.
- 영어 대화 900개의 토큰 상태들은 3D 투영에서 99.3%의 변동이 최적 평면에 포함될 정도로 얇은 시트 모양을 이룬다.
- 동일한 주제를 다른 언어로 표현했을 때 중국어는 영어와 시각적으로 분리된 지역을 차지하고, 독일어·크로아티아어는 영어 근처 영역에 실질적 겹침을 보인다.
- Python 코딩 예제도 영어 근처 지역에 나타나며, 이는 코드의 영어식 키워드와 프롬프트에 영어가 포함된 것의 영향으로 보인다.
- 대화 평균값만으로 PCA축을 재구성하면(Conversation PCA) 독일어와 크로아티아어의 분화가 더 명확해지며, Global PCA는 어휘 임베딩에 더 무게를 둔다.
- 3차원 표현에서 보이는 시트 모양은 3D 관점에서의 변동 99.7%를 포함하지만, 원래 2,048차원에서는 전체 변동의 17.6%만 포함되어 82.4%의 정보가 손실된다.
- 최적 평면이 모든 2,048차원에서 캡처할 수 있는 변동은 28.7%에 불과하며, 90% 변동 유지에는 684개 PCA 방향이 필요하다.
- 축은 언어를 강하게 추적하며 언어를 고려하고도 주제 구조가 남아 있고, 이는 다국어 모델의 언어별·공유 기하학 관련 선행 연구와 연결된다.
- 다양한 언어와 코드의 경로가 부분적으로 공유된 영역을 지나가며, 예제들 사이의 공통 기하 구조를 드러낸다.