신경망 가중치를 이산 결정 경로로 표현하는 TWIG 제안
원제 Every Weight Is a Path of Shared Discrete Decisions
추천 23댓글 2
Key Point
신경망 가중치 압축 방식을 통합하는 새로운 표현이 기존 양자화 방법보다 회로 비용을 크게 줄일 수 있음을 보여주기 때문이다.
핵심 요약
- 신경망의 모든 가중치를 트리 구조의 작은 이산 결정(부호, 2의 거듭제곱 시프트, 게이트, 테이블 인덱스)의 경로 끝으로 표현하는 TWIG(Tree-structured Weights with Inherited Gates)를 제안했다.
- 같은 영역에 속한 가중치들은 경로의 상위 부분을 공유하며, 각 결정은 트리 아래의 모든 가중치에 상속되어 한 번만 저장하고 적용된다.
- 임의의 학습된 신경망을 TWIG로 표현할 수 있으며, 2의 거듭제곱 결정을 사용할 때 가중치 계층이 거의 모두 선(wire)과 가산기로 이루어진 회로가 되어 고정 가중치 칩에 적합하다.
- 가지치기, 양자화, 저랭크 분해, 코드북, 가중치 공유가 하나의 객체 편집이 되어 단일 최적화기가 전체 네트워크에서 모두를 선택할 수 있다.
- 결정 선택은 트리 경로를 따르는 상호작용을 갖는 고차 볼츠만 기계의 바닥 상태 문제로, 어닐러와 양자 최적화기가 풀 수 있는 문제 클래스다.
- 기존에는 각 압축 방법이 자체 형식과 솔버를 가져야 하고 고정 가중치 회로는 각 가중치마다 별도의 상수 곱셈기가 필요했으며 이산 솔버는 반올림 같은 좁은 부분 문제만 다뤘다.
- 대규모 언어 모델의 5개 가중치 행렬에서 부호와 2의 거듭제곱 항을 가중치당 선택한 평면 트리(그룹 스케일 미사용)는 3비트와 4비트 정확도에서 동등한 계층 오류 시 GPTQ보다 9~15% 적은 덧셈이 필요했으며, 이상값이 많은 행렬에서는 20~55% 적게 필요했다.