신경망은 이미 깨끗하다
Key Point
신경망의 내부 구조가 우리가 생각하는 것보다 훨씬 깨끗하고 이해 가능하다는 주장이 기존의 '해석 불가능한 검은 상자' 관념을 근본적으로 뒤집으며, 기계 학습의 해석가능성 연구에 새로운 방향을 제시한다.
핵심 요약
- 신경망이 임의로 얽혀 있다고 여겨졌던 것은 다중의미성(polysemanticity)과 중첩(superposition) 때문이라는 기존 해석이 오류였으며, 실제로는 '재귀적 일반화'라는 훨씬 덜 우려스러운 현상이었다고 주장한다.
- InceptionV1 같은 초기 이미지 모델에서 고양이 얼굴과 자동차 앞면 모두에 반응하던 신경원은 임의의 조합이 아니라 V자 모양이라는 공통 특징을 감지하고 있었다.
- 아키텍처 개선으로 InceptionV1의 마지막 레이어에서 해석 불가능한 신경원이 거의 없던 것이 99-100% 해석 가능하게 바뀌었으며, 모델 크기와 학습 데이터는 변하지 않았다.