LLM 외부 지식 통합하는 파라메트릭 메모리 구조 제안

핵심 요약

• LLM이 학습 후 새로운 지식을 추가할 때 지속 학습은 재앙적 망각을, 검색 기반 방법은 추론 오버헤드를 발생시킨다.
• 외부 파라메트릭 메모리는 온라인 검색을 피하지만 오프라인 검색이 많이 필요하고 얕은 수준의 융합만 가능해 왔다.
• 논문은 Deep Fusion Memory(DFM)를 제안하는데, 이는 청크 수준의 메모리를 중간 은닉층에 통합하는 구조다.
• DFM의 인과 메모리 예측기는 선행 문맥으로부터 메모리를 생성하고, 코퍼스에서 검색한 청크 임베딩을 감독 신호로 사용한다.
• 예측된 메모리는 청크 내 모든 토큰에 공유되며, 게이트된 크로스 어텐션으로 은닉층에 융합된다.
• 메모리 예측과 융합은 백본을 고정한 채 엔드투엔드로 학습하고, 추론 시 명시적 검색이 필요 없다.
• 기존 토큰 수준 메모리 방식 대비 DFM은 학습 데이터 구성에 필요한 검색 쿼리를 32배, 검색 항목을 2048배 줄인다.
• QA 6개 작업에서 Mistral-7B-v0.3 대비 12.71%, Qwen3-8B-Base 대비 11.19% 성능 향상을 보였다.
• 도메인 적응에서는 Qwen3-4B-Base 대비 6.51점, Qwen3-8B-Base 대비 4.38점 평균 성능 이득을 얻었다.