기초 모델에 메모리 능력을 내장한 MemT-1.0 공개
원제 MemT-1.0: Towards Memory-Native Evolution
추천 155댓글 3
Key Point
장기 컨텍스트 처리 시 메모리 효율과 추론 속도를 동시에 개선하는 아키텍처로, 외부 검색에 의존하지 않고 내부 메모리만으로 작동하는 모델의 가능성을 보여준다.
핵심 요약
- 메모리를 모델 계산의 일부로 내재화하는 메모리 네이티브 기초 모델 MemT-1.0을 소개한다.
- Metis를 기반으로 Gated DeltaNet-2 아키텍처를 채용하며, 턴마다 안정적인 토큰 수준 메모리 업데이트 메커니즘을 사용한다.
- 메모리 용량 확장을 위해 Mixture-of-Storage를 도입했다.
- 백본 준비 후 계속 사전학습과 포스트학습 두 단계로 이루어진 학습 파이프라인을 개발하며, 34B 토큰의 학습 데이터를 사용한다.
- MemT-1.0-Nano와 MemT-1.0-Flash 모델을 릴리스하며, 메모리 기능과 일반 능력을 종합 평가했다.
- 매개변수 메모리 기준 모델을 평균적으로 능가하며, 검색 증강 방법과는 경쟁력 있는 수준을 유지하면서 일반 능력을 대부분 보존한다.
- 128K 토큰 히스토리 길이에서 MemT-1.0-Nano는 1.86배의 엔드투엔드 추론 속도 향상과 전체 컨텍스트 KV 캐시 대비 66배의 영구 저장소 감소를 달성한다.
- 검색된 절차적 경험을 내재화하여 에이전트 작업의 성공률을 개선하며, 메모리 네이티브 진화로의 실질적인 발전을 제공한다.