문맥 정보를 모델의 영구 지식으로 만드는 방법
Key Point
문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
- 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다.
- 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다.
- Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다.