쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
3건 · "interpretability"조건 지우기 ×
001 09:11 ▲ 110 · 댓글 29 LLM의 내부 상태 지도: 수천 개 대화의 벡터 풍경 Qwen 3.1-1.7B 모델의 residual stream(중앙 공유 작업 공간)에서 수천 개 대화의 내부 표현을 시각화한 대화형 지도를 구축했다. AI · 머신러닝 · What thousands of conversations look like inside a language model
Key Point LLM이 대화를 처리할 때 내부 벡터 공간에서 어떤 구조를 형성하는지, 다국어와 코드가 어떻게 배치되는지 구체적으로 보여줌으로써 모델의 표현 방식과 한계를 이해할 수 있다.
핵심 요약
Qwen 3.1-1.7B 모델의 residual stream(중앙 공유 작업 공간)에서 수천 개 대화의 내부 표현을 시각화한 대화형 지도를 구축했다. 100개 주제에 걸친 영어·중국어·독일어·크로아티아어 문답 900개와 Python 코딩 예제 90개를 처리해 각 토큰 위치의 2,048차원 벡터를 기록하고 3차원 공간으로 투영했다. 각 토큰은 임베딩 테이블에서 시작 벡터를 받아 모델의 레이어들이 문맥에 따라 변환하는데, 최종 토큰 상태들을 연결한 선은 각 대화의 경로를 나타낸다. 전체 요약 11문장 읽기 → 002 18:33 ▲ 11 · 댓글 2 LLM의 생각과 말이 일치하는지 측정하고 개선하기 Chain-of-thought(CoT) 추적은 LLM이 답에 도달하는 과정을 보여주는 것으로 여겨지지만, 실제로는 모델의 내부 계산을 제대로 반영하지 못하고 최종 답에 영향 없이 변경될 수 있다. AI · 머신러닝 · Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
Key Point LLM이 CoT로 설명하는 추론이 실제 내부 계산과 일치하지 않을 수 있다는 문제를 직접 측정하고 해결하는 방법을 제시하기 때문에, 모델 신뢰성과 해석 가능성을 중시하는 개발자와 연구자가 반드시 알아야 한다.
핵심 요약
Chain-of-thought(CoT) 추적은 LLM이 답에 도달하는 과정을 보여주는 것으로 여겨지지만, 실제로는 모델의 내부 계산을 제대로 반영하지 못하고 최종 답에 영향 없이 변경될 수 있다. 연구진은 CoT가 설명하는 추론과 해석 도구로 감지한 실제 내부 추론 전략 간의 일치도를 측정하는 CIA(CoT-Interpretability Alignment) 지표를 제안했다. 3개 LLM으로 두 단계 질문 응답, 힌트 개입, 정수 곱셈 3개 작업에서 CIA를 평가한 결과, 모든 작업에서 제한된 일치도(44.8-75.9%)를 보였다. 전체 요약 6문장 읽기 → 003 00:10 ▲ 100 · 댓글 17 트랜스포머 회로 분석을 위한 수학적 프레임워크 GPT-3, LaMDA 같은 대형 언어 모델은 학습 후에도 예상치 못한 해로운 행동이 드러나곤 하며, 이를 해결하려면 모델의 내부 계산을 역공학하는 기계적 해석가능성(mechanistic interpretability)이 필요하다. AI · 머신러닝 · A Mathematical Framework for Transformer Circuits (2021)
Key Point 대형 언어 모델의 예상 밖의 동작을 체계적으로 설명하고 안전 문제를 사전에 발견할 수 있는 기초 프레임워크를 제시하는 연구로, 모델 해석가능성 분야의 초기 이정표이다.
핵심 요약
GPT-3, LaMDA 같은 대형 언어 모델은 학습 후에도 예상치 못한 해로운 행동이 드러나곤 하며, 이를 해결하려면 모델의 내부 계산을 역공학하는 기계적 해석가능성(mechanistic interpretability)이 필요하다. 이 논문은 트랜스포머를 역공학하기 위한 초기 단계로서, 가장 단순한 2층 이하의 어텐션 전용 모델부터 시작해 기본 알고리즘 패턴을 발견하는 것을 목표로 한다. 트랜스포머의 동작을 수학적으로 동등하면서도 새로운 관점으로 재구성함으로써, 특정 어텐션 헤드인 '귀납 헤드(induction heads)'가 인컨텍스트 학습을 설명할 수 있음을 발견했다. 전체 요약 5문장 읽기 →