문맥 정보를 모델의 영구 지식으로 만드는 방법
원제 Cortex: Consolidating Context into Parametric Memory
추천 65댓글 1
Key Point
문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
- 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다.
- 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다.
- Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다.
- 5개 작업군으로 이루어진 벤치마크에서 단일·배치·순차 업데이트 상황의 통합과 유지를 측정한다.
- Cortex 방법은 문맥 사용을 예측하는 질의를 생성한 뒤, 문맥 기반 출력을 병합 가능한 저랭크 또는 구조적 피드포워드 네트워크 업데이트로 증류한다.
- 4B~120B 규모의 밀집 모델과 혼합전문가 모델, 텍스트 전용 및 멀티모달 모델에서 평가했다.
- 대부분의 설정에서 Cortex는 통합과 유지 사이의 경험적 파레토 프론티어상에 위치한다.
- 14B 모델에 50번의 순차적 사실 편집 후, Cortex-Structural은 문맥 유도 이득의 88.9%를 복구하면서 원본 비목표 성능의 99.8%를 유지한다.