에이전트 간 통신 75% 압축, 캐시 공유 방식 제안
원제 Receiver-Conditioned Latent Communication gives 94% CacheBack
추천 11댓글 2
Key Point
KV 캐시 직접 전송으로 다중 에이전트 시스템의 성능을 높이되, 메모리 증폭 문제를 receiver conditioning으로 대폭 해결할 수 있는 실용적 방법을 제시한다.
핵심 요약
- 다중 에이전트 시스템에서 에이전트 간 KV 캐시를 직접 전송하는 방식이 텍스트 통신보다 정확도와 지연시간이 우수하지만, 전체 캐시 크기가 각 에이전트 처리 컨텍스트와 에이전트 수에 따라 선형으로 증가해 GPU 메모리와 컨텍스트 윈도우를 초과하는 문제가 발생한다.
- Receiver-Conditioned Latent Communication이라는 아이디어는 수신 에이전트가 자신의 정보 필요사항을 기술해 송신 에이전트에게 전달하면, 송신 에이전트가 이를 바탕으로 KV 캐시를 필터링·압축해서 보내는 방식이다.
- CacheBack은 송신 에이전트의 어텐션 가중치를 기반으로 receiver conditioning을 구현한 훈련 없는 방식이다.
- FanOutQA 벤치마크에서 CacheBack을 Qwen 3와 함께 사용했을 때 전달해야 할 상태의 75%를 제거했으며, 정확도를 14.7 percentage points 향상시키고 텍스트 통신 대비 중앙값 작업 완료 지연시간을 3.2배 단축했다.
- 이 방식은 밀집 Transformer, Mamba-attention 하이브리드, 슬라이딩 윈도우 어텐션 등 다양한 모델 계열에서 비슷한 성능 개선을 보인다.