뇌처럼 학습하는 신경망, 역전파 대체 기술 등장
Key Point
뇌의 신용 할당 문제라는 오랜 신경과학 미스터리를 푸는 가능성을 제시하며, 동시에 에지 디바이스의 에너지 효율 문제를 해결할 기술 경로를 보여줍니다.
핵심 요약
- PC-ALM이라는 신경망 학습 기법을 소개하는 논문으로, 역전파를 대체하는 국소적 동역학계 방식을 사용합니다.
- 각 계층에 피드백 제어 시스템을 갖춰 층간 국소 통신만으로 신용 할당 문제를 해결하며, 1000층까지 학습 가능합니다.
- 표준 역전파는 순전파→역전파→가중치 업데이트가 엄격한 순서로 진행되는데, 뇌는 이런 시간 동기화 메커니즘이 없어 역전파를 구현할 수 없다는 신경과학 문제에서 출발했습니다.
- PC-ALM은 기존 예측 부호화(PC) 기법을 확장해 라그랑주 승수를 도입한 것으로, 선형 네트워크의 극한에서는 국소 계산만으로도 정확한 역전파 신용 신호와 일치합니다.
- 에너지 효율적 신경망 학습이 필요한 뉴로모르픽 하드웨어에서 GPU보다 저렴한 동역학계 시뮬레이션을 가능하게 할 수 있습니다.