쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
9건 · "해석가능성"조건 지우기 ×
001 12:11 ▲ 140 · 댓글 34 Qwen 가중치에 내장된 RISC-V CPU, 정확하게 동작하다 Qwenputer는 Qwen 3.5 4B에 RISC-V CPU를 모델 가중치에 직접 컴파일한 실험적 모델로, 모델의 Gated DeltaNet 어텐션 레이어를 RAM으로 사용한다. AI · 머신러닝 · Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Key Point 언어 모델이 외부 도구 없이 정확한 산술 계산과 파일 저장을 수행할 수 있다는 새로운 가능성을 보여주며, AI 안전성 연구와 해석가능성 측면에서도 중요한 아키텍처 실험이다.
핵심 요약
Qwenputer는 Qwen 3.5 4B에 RISC-V CPU를 모델 가중치에 직접 컴파일한 실험적 모델로, 모델의 Gated DeltaNet 어텐션 레이어를 RAM으로 사용한다. Gated DeltaNet 레이어의 게이트를 1로, 쓰기 강도를 1로, 원-핫 키 인코딩을 사용하면 정확한 주소 지정이 가능한 RAM이 되며, 이는 일반 어텐션의 KV 캐시보다 메모리 효율이 높다. CPU는 32비트 RISC-V 코어(RV32IM 명령어 세트)로 모델의 처음 11개 레이어를 차지하며, 컴파일러가 회로 설명을 트랜스포머 레이어의 어텐션 헤드와 피드포워드 유닛으로 변환한다. 전체 요약 11문장 읽기 → 002 18:11 ▲ 15 · 댓글 2 LLM의 예측 과정을 추적하는 'Belief-Trajectory Energy' 지표 제안 대규모 언어모델(LLM)은 Transformer 레이어를 거치며 예측을 점진적으로 수정하지만, 최종 결과만 관찰하고 이 과정을 버린다는 문제에서 출발했다. AI · 머신러닝 · Belief-Trajectory Energy: Measuring the Path to a Prediction
Key Point LLM이 어떤 입력에 대해 추론할 때 내부적으로 어떻게 의견을 바꾸는지 측정할 수 있는 새로운 방법으로, 모델의 사고 과정을 '해석 가능하게' 들여다볼 수 있는 창을 제공한다.
핵심 요약
대규모 언어모델(LLM)은 Transformer 레이어를 거치며 예측을 점진적으로 수정하지만, 최종 결과만 관찰하고 이 과정을 버린다는 문제에서 출발했다. 연구진은 Belief-Trajectory Energy(BTE)라는 측정 지표를 제안했으며, 이는 입력이 모델의 각 레이어에서 유도하는 예측 수정을 특성화한다. 중간 상태들을 공유 예측 공간에 매핑하여 스칼라 또는 깊이 프로필 형태의 신념 변화를 측정한다. 전체 요약 8문장 읽기 → 003 12:11 ▲ 106 · 댓글 2 희소 자동인코더 표현이 얼마나 합성적인지 검증 희소 자동인코더(SAE)는 신경망 활성화를 희소한 선형 디코딩 특성으로 표현하지만, 이들 특성이 하위 계산에서 덧셈적으로 합성되는지는 불명확했다. AI · 머신러닝 · Behavioral Compositionality of Sparse Autoencoder Representations
Key Point SAE 특성이 실제로 신경망 행동을 독립적으로 설명하는지가 오랫동안 미해결 문제였는데, 이 논문이 정량적 측정 방법과 한계를 처음 체계적으로 보여줌으로써 해석가능 AI 연구의 방향을 제시한다.
핵심 요약
희소 자동인코더(SAE)는 신경망 활성화를 희소한 선형 디코딩 특성으로 표현하지만, 이들 특성이 하위 계산에서 덧셈적으로 합성되는지는 불명확했다. 연구팀은 SAE Additivity Residuals(SAR)를 도입해 설명되지 않은 행동 변이를 상호작용 차수별로 측정하며, 모집단 SAR은 정확히 그 차수 이상의 상호작용 에너지 정규화값이다. 학습된 SAE 좌표와 같은 부분공간의 합 보존 무작위 회전을 비교하면, 18개의 모델과 행동 설정 모두에서 학습된 좌표가 더 낮은 1차 잔차를 보인다. 전체 요약 6문장 읽기 → 004 06:11 ▲ 365 · 댓글 119 신경망은 이미 깨끗하다 신경망이 임의로 얽혀 있다고 여겨졌던 것은 다중의미성(polysemanticity)과 중첩(superposition) 때문이라는 기존 해석이 오류였으며, 실제로는 '재귀적 일반화'라는 훨씬 덜 우려스러운 현상이었다고 주장한다. AI · 머신러닝 · Neural networks are clean
Key Point 신경망의 내부 구조가 우리가 생각하는 것보다 훨씬 깨끗하고 이해 가능하다는 주장이 기존의 '해석 불가능한 검은 상자' 관념을 근본적으로 뒤집으며, 기계 학습의 해석가능성 연구에 새로운 방향을 제시한다.
핵심 요약
신경망이 임의로 얽혀 있다고 여겨졌던 것은 다중의미성(polysemanticity)과 중첩(superposition) 때문이라는 기존 해석이 오류였으며, 실제로는 '재귀적 일반화'라는 훨씬 덜 우려스러운 현상이었다고 주장한다. InceptionV1 같은 초기 이미지 모델에서 고양이 얼굴과 자동차 앞면 모두에 반응하던 신경원은 임의의 조합이 아니라 V자 모양이라는 공통 특징을 감지하고 있었다. 아키텍처 개선으로 InceptionV1의 마지막 레이어에서 해석 불가능한 신경원이 거의 없던 것이 99-100% 해석 가능하게 바뀌었으며, 모델 크기와 학습 데이터는 변하지 않았다. 전체 요약 12문장 읽기 → 005 18:12 ▲ 275 · 댓글 2 멀티모달 AI의 공간 추론 메커니즘 규명 멀티모달 언어 모델의 공간 추론 능력은 입증되었으나 내부 작동 원리는 미지의 영역이었다. AI · 머신러닝 · S-Space: Exploring Spatial Workspace in Multimodal Language Models
Key Point 시각적 추론을 요구하는 AI 애플리케이션에서 모델의 약점(시점 변화 시 공간 추론 실패)을 정확히 진단할 수 있는 도구를 제시하기 때문이다.
핵심 요약
멀티모달 언어 모델의 공간 추론 능력은 입증되었으나 내부 작동 원리는 미지의 영역이었다. 연구팀이 'S-Space'라는 선형 표현 부분공간을 발견했으며, 여기에 객체 토큰이 가로·세로·거리 축을 따라 연속적 좌표로 인코딩된다. S-Space는 특정 데이터나 프롬프트로 유도되지 않고 모델에 내재되어 있으며, 공간과 무관한 질문에서도 판독 가능하다. 전체 요약 8문장 읽기 → 006 21:11 ▲ 39 · 댓글 6 언어모델의 불확실성을 해석 가능하게 측정하는 'U-Space' 제안 대형 언어모델이 고위험 결정을 내릴 때 그 답변의 신뢰도를 판단하기 어렵다는 문제가 제기되고 있다. AI · 머신러닝 · U-Space: Uncovering When and Why Uncertainty Arises in Language Models
Key Point 언어모델이 제시하는 답변의 신뢰도를 판단하고 잘못된 결론을 피해야 하는 상황에서, 해석 가능한 불확실성 측정 방법이 제시됨에 따라 모델 신뢰성 평가 방식이 달라질 수 있다.
핵심 요약
대형 언어모델이 고위험 결정을 내릴 때 그 답변의 신뢰도를 판단하기 어렵다는 문제가 제기되고 있다. 기존 불확실성 정량화 방법은 반복 생성이나 별도 학습이 필요하고, 불확실성이 어디서 발생하는지 보여주지 못한다. 생성 길이가 불확실성 추정과 정답률과 강하게 연관되어 있어서, 추정기가 불확실성 정보인지 단순히 길이 정보인지 구분하기 어렵다. 전체 요약 8문장 읽기 → 007 03:11 ▲ 12 · 댓글 2 언어 모델의 가중치 변화를 읽고 동작을 개선하는 기술 언어 모델이 자신의 학습 과정을 인식하고 개선할 수 있도록 하기 위해 '임프린트 리더(Imprint Reader)'라는 방법을 제안했다. AI · 머신러닝 · Imprint Reader: From Weight-Update Readout to Behavioral Intervention
Key Point 신경망의 가중치 변화를 직접 해석 가능한 자연어로 읽어낼 수 있다는 것이 새로운 발견이며, 이를 통해 모델의 동작을 의도적으로 개선할 수 있는 경로를 제시한다.
핵심 요약
언어 모델이 자신의 학습 과정을 인식하고 개선할 수 있도록 하기 위해 '임프린트 리더(Imprint Reader)'라는 방법을 제안했다. 리더는 Semantic Mount-and-Read Tuning(SaRT)으로 훈련되어 동결된 가중치 업데이트를 자연어로 설명하며, 앵커 없는 메타 쿼리로 학습 내용을 추출한다. 실제 업데이트에 대해 지식 설명은 2%, 동작 설명은 16%의 Pass@100 점수를 달성했으며, 미검증 주장을 억제하기 위해 무변화 및 랜덤 교란 제어 기법을 사용했다. 전체 요약 6문장 읽기 → 008 03:11 ▲ 10 · 댓글 2 SAE가 품사 정보를 분산된 특성 그룹으로 인코딩한다 Sparse AutoEncoder(SAE)는 언어모델의 내부 표현을 분석하는 도구인데, 어떤 언어 구조를 노출하는지는 아직 불명확하다. AI · 머신러닝 · Parts-of-Speech as Emergent Categories in SAE Latent Space
Key Point 언어모델의 '검은 상자'를 열기 위한 SAE 분석 방법이 실제로 문법 구조를 얼마나 잘 포착하는지 실증적으로 보여주는 연구로, 향후 모델 해석 연구의 방향을 제시한다.
핵심 요약
Sparse AutoEncoder(SAE)는 언어모델의 내부 표현을 분석하는 도구인데, 어떤 언어 구조를 노출하는지는 아직 불명확하다. 연구팀은 품사(PoS) 범주를 통제된 테스트 케이스로 삼아, 형태통사 정보가 개별 잠재 변수로 인코딩되는지 아니면 특성의 구조화된 그룹으로 인코딩되는지 조사했다. SAE 활성화로부터 품사 구분을 높은 정확도로 복원할 수 있지만, 개별 잠재 변수와 범주 간에 일대일 대응이 없다는 것을 발견했다. 전체 요약 7문장 읽기 → 009 00:10 ▲ 100 · 댓글 17 트랜스포머 회로 분석을 위한 수학적 프레임워크 GPT-3, LaMDA 같은 대형 언어 모델은 학습 후에도 예상치 못한 해로운 행동이 드러나곤 하며, 이를 해결하려면 모델의 내부 계산을 역공학하는 기계적 해석가능성(mechanistic interpretability)이 필요하다. AI · 머신러닝 · A Mathematical Framework for Transformer Circuits (2021)
Key Point 대형 언어 모델의 예상 밖의 동작을 체계적으로 설명하고 안전 문제를 사전에 발견할 수 있는 기초 프레임워크를 제시하는 연구로, 모델 해석가능성 분야의 초기 이정표이다.
핵심 요약
GPT-3, LaMDA 같은 대형 언어 모델은 학습 후에도 예상치 못한 해로운 행동이 드러나곤 하며, 이를 해결하려면 모델의 내부 계산을 역공학하는 기계적 해석가능성(mechanistic interpretability)이 필요하다. 이 논문은 트랜스포머를 역공학하기 위한 초기 단계로서, 가장 단순한 2층 이하의 어텐션 전용 모델부터 시작해 기본 알고리즘 패턴을 발견하는 것을 목표로 한다. 트랜스포머의 동작을 수학적으로 동등하면서도 새로운 관점으로 재구성함으로써, 특정 어텐션 헤드인 '귀납 헤드(induction heads)'가 인컨텍스트 학습을 설명할 수 있음을 발견했다. 전체 요약 5문장 읽기 → 
