LLM이 직접 설계한 모델, Transformer보다 1,800배 가볍고 빠르다
원제 Weight-Space Programming Doesn't Need Transformers
추천 54댓글 3
Key Point
경사 하강법 없이 LLM이 직접 설계한 모델 구조가 Transformer 대비 1,800배 가볍고 17배 빠르다는 것은, 신경망 아키텍처 선택이 학습 방식에 따라 근본적으로 달라질 수 있음을 보여준다.
핵심 요약
- 표준 신경망 아키텍처로 Transformer를 사용해온 이유는 경사 하강법으로 잘 학습되고 GPU에서 빠르게 실행되기 때문인데, LLM이 가중치를 직접 작성하는 무게-공간 프로그래밍(weight-space programming) 환경에서는 이러한 조건이 적용되지 않는다.
- 연구팀은 세 개의 최신 LLM에게 고정 아키텍처의 가중치를 생성하거나 아키텍처를 직접 설계하도록 지시했으며, 최소한의 지도와 10개의 레이블 샘플, 샌드박스 환경에서 주로 객관식 문제로 평가했다.
- 자유롭게 설계할 수 있도록 허용했을 때 세 LLM 모두 평문 사실들을 희소 테이블로 컴파일하고 고정 절차로 쿼리하는 방식을 선택했으며, 최대 54.4% 테스트 정확도에 도달했다.
- LLM이 설계한 모델은 동일한 LLM이 작성한 가장 정확한 공개 Transformer보다 더 높은 테스트 정확도를 달성하면서도 약 1,800배 적은 파라미터를 사용했다.
- 경사 하강법 없이 LLM들이 선택한 테이블 구조는 각 가중치의 의미를 명시적으로 나타낼 수 있고 잘못된 가중치를 찾아 수정할 수 있다는 장점을 제공한다.
- 잘못된 각 답변이 하나의 행을 가리키며, 한 행을 제거하면 약 하나의 다른 답변만 변경되는 명확한 인과관계를 보인다.
- 연구팀은 이러한 연관 메모리 기반 모델(associative-memory-based model)이 같은 크기의 Transformer보다 GPU에서 최대 17배 빠르다고 제시했다.
- 사전 학습된 가중치와 다른 벤치마크, 모델이 답변을 생성하는 작업에서도 테스트했으며, 사전 학습된 LLM은 여전히 더 정확하지만 이 연구는 가중치를 직접 작성할 때 어떤 구조를 구축할지에 관한 것이다.