LLM이 스스로 컨텍스트를 관리하는 새로운 모델 등장

핵심 요약

• Context Language Models(CLM)은 언어 모델이 자체 컨텍스트를 원시적으로 관리할 수 있도록 설계되었다.
• 컨텍스트를 파일처럼 취급하여 모델이 이를 자유롭게 업데이트하도록 함으로써, 중요한 정보 유지 방식을 스스로 학습하게 한다.
• 다중 에이전트 시스템에서 여러 에이전트의 컨텍스트가 파일 형태로 공존할 수 있다.
• 기존 모델로 제로샷 CLM을 구축한 결과, BrowseComp-Plus에서 21.5% 적은 FLOPs로 11.4% 더 높은 정확도를 달성했다.
• 12시간 EdgeBench 테스트에서 59% 적은 FLOPs로 5% 높은 점수를, 24시간 멀티 리포지토리 에이전트 스웜 작업에서는 같은 계산량으로 65% 더 큰 개선을 보였다.
• 컨텍스트 관리를 외부 제어에서 모델 내재 행동으로 옮김으로써 인컨텍스트 학습과 매개변수 학습을 모두 가능하게 한다.
• 자연어 명령어를 통해 CLM을 조정할 수 있으며, 스킬 최적화 루프로 진화시켜 컨텍스트 관리 작업에서 정확도를 최대 35.9포인트 개선하면서 계산량을 줄일 수 있다.
• 온라인 강화학습 방법을 도입하여 Qwen3.5-9B의 BrowseComp-Plus 성능을 47.6% 향상시키고 12% 적은 FLOPs를 사용한다.
• CLM 서빙을 위해 Suffix Cache Reuse를 공동 설계하여 표준 SGLang 대비 같은 성능에서 서버 사이드 계산을 35% 추가로 감축한다.