LLM의 '잠자기' 단계로 지속학습과 기억력 문제 해결

핵심 요약

• 구글 연구팀이 대형언어모델(LLM)의 지속학습을 위해 '수면 프레임워크'를 제안했다.
• 기존 LLM은 배포 후 고정된 학습 시점을 유지하거나, 문맥 윈도우 내에서만 정보를 보유하는 한계가 있고, 새로운 데이터로 업데이트하면 이전 학습 내용을 잊는 '재앙적 망각(catastrophic forgetting)' 문제가 발생한다.
• 수면 프레임워크는 활동(깨어있는) 단계와 오프라인 메모리 통합(수면) 단계를 번갈아가며 작동한다.
• 활동 단계에서 모델은 입력을 받아 단기 메모리에 임시 정보를 저장하고, 수면 단계에서는 새 처리를 멈추고 메모리 통합과 자가 개선에 집중한다.
• 메모리 통합 단계에서는 저주파 메모리 블록의 Mixture-of-Experts(MoE) 구조와 저랭크 확장을 통해 매개변수를 늘린 후, 일반화 지식 증류(GKD)와 강화학습 기반 모방학습으로 단기 기억을 장기 매개변수로 전환한다.
• 메모리 통합 완료 후 고주파 임시 매개변수를 초기화하는 시냅스 가지치기로 용량을 확보한다.
• 드리밍(꿈꾸기) 단계에서는 MoE 라우터가 무작위로 서로 다른 전문가를 활성화해 여러 영역의 지식을 혼합하고, 그래디언트 기반 데이터 선택으로 합성 학습 샘플을 필터링하며, 강화학습으로 성능 개선을 평가한다.
• 이론적으로 메모리 통합은 저랭크 압축 문제이며, 온폴리시 증류와 의미적 보상이 상호보완적으로 작동하고, 드리밍은 다양한 그래디언트 방향을 탐색해 최적화 지형을 균형 있게 만든다.
• 실험 결과 연속 번역에서 만주어·칼라망어 같은 미지 언어에 대해 거의 0에 가까운 성능 저하를 보였다.
• 장문맥 이해 벤치마크(BABILong)에서는 1천만 토큰까지 거의 완벽한 확장성을 보이며 GPT-4와 Titans를 능가했다.
• 팩트 지식 통합(SQuAD·계속 사전학습)에서는 단일 과제 48.9%, 계속 사전학습 46.2%를 달성해 기존 표현을 손상시키지 않으면서 새 정보를 통합했다.
• 수학 추론 벤치마크(AIME 24/25, HMMT 25)에서는 79.2%, 69.0%, 46.1%의 정확도를 달성했다.
• 이 패러다임은 정적 사전학습과 취약한 문맥 윈도우를 넘어 자율적으로 지속학습하는 AI 시스템으로 나아가는 길을 제시한다.