외적 메모리에서 시작하는 트랜스포머의 직관적 이해
원제 You could have invented transformers from memory
110 포인트댓글 30
Key Point
신경망 계층이 정보를 어떻게 저장하고 회수하는지에 대한 통일된 수학적 직관을 제공하므로, 트랜스포머 아키텍처의 설계 선택을 더 깊이 이해할 수 있다.
핵심 요약
- 선형 계층, MLP, 셀프-어텐션을 메모리 저장소로 재해석하는 관점을 제시한다.
- 기본적인 외적 메모리 저장소는 M개 메모리를 저장할 때 키 차원 d_k과 같은 용량 d_k만 갖는다.
- 최적 선형 메모리는 키의 공분산을 보정해 용량을 2d_k로 두 배 높인다.
- ReLU나 제곱 ReLU 같은 비선형 활성화 함수를 적용하면 용량이 d_k^p로 기하급수적으로 증가한다.
- 지수함수(exponential)는 모든 차수의 거듭제곱을 가중합으로 표현하므로 더 높은 용량을 달성한다.
- 셀프-어텐션의 소프트맥스는 지수함수 기반이며, 64차원 키 기준 약 120만개 메모리를 저장할 수 있다.
- 간섭 신호 비율(interference-to-signal ratio)을 측정 기준으로, 메모리가 증가해도 회수 성능이 유지되는지 분석한다.
- 트랜스포머에서 컨텍스트가 길어지면 로그 스케일링으로 셀프-어텐션의 샤프니스 β를 조정해 무제한 메모리 저장을 가능하게 한다.
- 용량 추정은 임의의 벡터를 회수하는 능력만 측정하며, 실제 학습 데이터에서의 표현은 별개의 문제다.
- 논문 저자들도 원본 트랜스포머 논문 초안에서 피드포워드 계층을 어텐션의 일종으로 설명했으나, 최종 버전에서 이 내용을 삭제했다.