모델이 자기 맥락을 관리하는 CLM 제안
원제 Context Language Models
추천 11댓글 1
Key Point
LLM의 장문맥 처리 방식을 근본적으로 바꾸는 접근법으로, 맥락 관리 오버헤드를 줄이면서 멀티에이전트 시스템 구현도 용이하게 한다.
핵심 요약
- 언어 모델이 자신의 맥락을 파일처럼 다루며 자유롭게 업데이트하도록 하는 Context Language Models(CLMs)를 제안했다.
- CLM은 맥락에서 유지할 정보를 학습하고, 여러 에이전트의 맥락이 파일로 공존하는 멀티에이전트 시스템으로 자연스럽게 확장된다.
- 기존 모델로 제로샷 구축한 CLM은 여러 벤치마크에서 기존 최고 성능 대비 우수한 결과를 냈다: BrowseComp-Plus에서 11.4% 높은 정확도에 21.5% 적은 연산량, 12시간 EdgeBench에서 5% 높은 점수에 59% 적은 연산량.
- 맥락 관리를 외부 제어에서 모델 내부 동작으로 전환하면서 자연스럽게 맥락 전략을 학습할 수 있게 되었다.
- 자연언어 지시문으로 CLM을 조정할 수 있으며, 기술 최적화 루프를 통해 진화시키면 맥락 관리 작업에서 정확도를 최대 35.9포인트 개선하면서 연산량을 줄일 수 있다.
- 온라인 강화학습 방법을 적용하면 Qwen3.5-9B의 BrowseComp-Plus 성능이 47.6% 향상되고 연산량은 12% 줄어든다.
- CLM 서빙 전용 'Suffix Cache Reuse' 기법을 개발해 표준 SGLang 대비 같은 성능에서 서버 연산량을 35% 추가로 감축했다.