Hugging Face 논문AI · 머신러닝오늘의 주요

LLM이 직접 설계한 모델, Transformer보다 1,800배 가볍고 빠르다

원제 Weight-Space Programming Doesn't Need Transformers

추천 54댓글 3Hyunjong Ok, Jaeho Lee
Key Point

경사 하강법 없이 LLM이 직접 설계한 모델 구조가 Transformer 대비 1,800배 가볍고 17배 빠르다는 것은, 신경망 아키텍처 선택이 학습 방식에 따라 근본적으로 달라질 수 있음을 보여준다.

핵심 요약

  • 표준 신경망 아키텍처로 Transformer를 사용해온 이유는 경사 하강법으로 잘 학습되고 GPU에서 빠르게 실행되기 때문인데, LLM이 가중치를 직접 작성하는 무게-공간 프로그래밍(weight-space programming) 환경에서는 이러한 조건이 적용되지 않는다.
  • 연구팀은 세 개의 최신 LLM에게 고정 아키텍처의 가중치를 생성하거나 아키텍처를 직접 설계하도록 지시했으며, 최소한의 지도와 10개의 레이블 샘플, 샌드박스 환경에서 주로 객관식 문제로 평가했다.
  • 자유롭게 설계할 수 있도록 허용했을 때 세 LLM 모두 평문 사실들을 희소 테이블로 컴파일하고 고정 절차로 쿼리하는 방식을 선택했으며, 최대 54.4% 테스트 정확도에 도달했다.
  • LLM이 설계한 모델은 동일한 LLM이 작성한 가장 정확한 공개 Transformer보다 더 높은 테스트 정확도를 달성하면서도 약 1,800배 적은 파라미터를 사용했다.
  • 경사 하강법 없이 LLM들이 선택한 테이블 구조는 각 가중치의 의미를 명시적으로 나타낼 수 있고 잘못된 가중치를 찾아 수정할 수 있다는 장점을 제공한다.
  • 잘못된 각 답변이 하나의 행을 가리키며, 한 행을 제거하면 약 하나의 다른 답변만 변경되는 명확한 인과관계를 보인다.
  • 연구팀은 이러한 연관 메모리 기반 모델(associative-memory-based model)이 같은 크기의 Transformer보다 GPU에서 최대 17배 빠르다고 제시했다.
  • 사전 학습된 가중치와 다른 벤치마크, 모델이 답변을 생성하는 작업에서도 테스트했으며, 사전 학습된 LLM은 여전히 더 정확하지만 이 연구는 가중치를 직접 작성할 때 어떤 구조를 구축할지에 관한 것이다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗