무한 개수 가중치 생성하는 LLM 아키텍처 제안
Key Point
LLM이 배포 후 사용자 상호작용 데이터를 학습하는 방식의 근본적 전환을 제시해, 미세조정 없이 동적 적응을 추구하는 개발자와 연구자에게 새로운 설계 방향을 제공한다.
핵심 요약
- 정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다.
- 하이퍼네트워크가 사용자 입력이나 정정 같은 런타임 데이터를 공유 기본 네트워크의 저랭크 변조로 변환해 가중치를 동적으로 생성한다.
- 베이지안 신념으로 생성기의 잠재 코드를 추적해 세션 진행 중 가중치를 재계산하므로, 한 번만 읽고 고정하던 방식과 달라진다.
- 저장된 모델 크기는 유지하면서도 생성 가능한 가중치는 사실상 무한대가 되며, 문맥 창 절약, 세션 간 지속성, 인-컨텍스트 학습보다 나은 일반화가 가능해진다.
- Mixture-of-Experts 영감을 받았으며, 제안 논문은 평가 프로토콜을 통해 인-컨텍스트 학습과 검색 기반 방식 대비 성능을 검증한다.