LLM이 직접 설계한 모델, Transformer보다 1,800배 가볍고 빠르다
Key Point
경사 하강법 없이 LLM이 직접 설계한 모델 구조가 Transformer 대비 1,800배 가볍고 17배 빠르다는 것은, 신경망 아키텍처 선택이 학습 방식에 따라 근본적으로 달라질 수 있음을 보여준다.
핵심 요약
- 표준 신경망 아키텍처로 Transformer를 사용해온 이유는 경사 하강법으로 잘 학습되고 GPU에서 빠르게 실행되기 때문인데, LLM이 가중치를 직접 작성하는 무게-공간 프로그래밍(weight-space programming) 환경에서는 이러한 조건이 적용되지 않는다.
- 연구팀은 세 개의 최신 LLM에게 고정 아키텍처의 가중치를 생성하거나 아키텍처를 직접 설계하도록 지시했으며, 최소한의 지도와 10개의 레이블 샘플, 샌드박스 환경에서 주로 객관식 문제로 평가했다.
- 자유롭게 설계할 수 있도록 허용했을 때 세 LLM 모두 평문 사실들을 희소 테이블로 컴파일하고 고정 절차로 쿼리하는 방식을 선택했으며, 최대 54.4% 테스트 정확도에 도달했다.