신경망은 이미 깨끗하다

핵심 요약

• 신경망이 임의로 얽혀 있다고 여겨졌던 것은 다중의미성(polysemanticity)과 중첩(superposition) 때문이라는 기존 해석이 오류였으며, 실제로는 '재귀적 일반화'라는 훨씬 덜 우려스러운 현상이었다고 주장한다.
• InceptionV1 같은 초기 이미지 모델에서 고양이 얼굴과 자동차 앞면 모두에 반응하던 신경원은 임의의 조합이 아니라 V자 모양이라는 공통 특징을 감지하고 있었다.
• 아키텍처 개선으로 InceptionV1의 마지막 레이어에서 해석 불가능한 신경원이 거의 없던 것이 99-100% 해석 가능하게 바뀌었으며, 모델 크기와 학습 데이터는 변하지 않았다.
• Qwen3-32B 같은 현대 언어 모델에서 신경원의 약 90%가 주요 역할 하나를 가지고 있으며, 약 7%는 관련된 두 역할을, 약 2-4%만 아직 이해되지 않았다.
• '의로움의 감각' 같은 미묘한 감정이나 사회적 신호를 추적하는 신경원들이 가장 흔한 유형이며, 이들은 단어가 아닌 쉼표 같은 구두점이나 예측 관점에서 중요한 단어에서 활성화된다.
• 2023년 Anthropic의 모노의미성 연구에서 신경원이 해석 불가능했던 것은 작은 단일 계층 모델을 사용하고 약한 도구와 잘못된 기대를 가졌기 때문이다.
• 신경망이 어느 정도 채워지면 각 설명이 주변의 모든 것에 의해 제약되므로, 이해도가 높아질수록 더 빠르게 진행되는 퍼즐 같은 현상이 나타난다.
• 현대 합성곱 신경망에서 이 과정이 작동했으며, 에이전트가 신경원과 회로를 매핑하고, 탐색 가능한 현미경을 구축하고, 설명을 철저히 테스트할 수 있다.
• 대규모 신경망의 거대함은 문제이지만 도움이 되기도 한다. 신경망이 커질수록 더 좁은 신경원을 학습해서 인식하기 더 쉬워진다.
• 신경망 전체를 이해하는 것이 관심 있는 특정 부분만 이해하는 것보다 더 쉬울 수 있다. 왜냐하면 신경망이 어떻게 작동하는지 알기 전에는 특정 메커니즘의 미세 구조를 알기 어렵기 때문이다.
• 신경망은 하나의 학습 원리(일반화)를 사용하며, 이는 프랙탈 구조이므로, 설명도 프랙탈적으로 될 수 있다. 기본 설명부터 시작해 필요할 때 더 깊이 들어갈 수 있다.
• 딥러닝 전체의 패턴은 영리한 알고리즘보다 단순한 아이디어가 대규모에서 더 잘 작동한다는 것인데, 해석가능성도 같은 '쓸쓸한 교훈'이 있을 수 있다. 즉, 영리한 분해 방법보다 단순한 조사를 확장하는 것이 더 나을 수 있다.