성장하는 신경망, 학습 데이터를 직접 저장했다
원제 Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
추천 12댓글 2
Key Point
매개변수 크기를 고정하지 않고 데이터를 직접 저장하는 방식이 기존 신경망 설계와 어떻게 다르며, 실제 성능상 이점이 있는지 확인할 수 있는 새로운 학습 패러다임입니다.
핵심 요약
- 딥러닝의 일반 목적 계층으로서, 학습 데이터를 고정 크기의 가중치 행렬로 압축하지 않고 모든 데이터 포인트마다 키-값 표현을 저장했다가 추론 시 어텐션으로 검색·결합하는 성장형 신경망을 제시했다.
- 기존 선형 어텐션(LA) 이론을 확장해 RBF와 소프트맥스 커널 같은 고급 커널을 사용할 경우 기울기 기반 최적화가 자명하지 않은 문제를 발견했다.
- 함수형 기울기(functional gradient) 기반 학습 규칙을 개발하여 커널화된 어텐션 계층의 원칙적인 최적화 방법을 제시했다.
- 이미지 분류와 합성 교사-학생 학습 과제에서 제안된 방식(RCDL)의 성능과 학습 효율성을 입증했다.
- 또한 LA를 MesaNet/DeltaNet 같은 고급 변형으로 대체할 때 기존 고정 크기 신경망 최적화 알고리즘과의 형식적 연결을 밝혔다.