다중 참여자 대화에서 발언자 중심의 이중 메모리 시스템 제안
Key Point
기존 LLM이 실패하는 장기 다중 대화에서 발언자와 관계 정보를 정확히 추적하는 방식이 구체적으로 제시되었으며, 실제 벤치마크에서 최고 성능을 입증했습니다.
핵심 요약
- 다중 참여자 대화에서 누가 무엇을 말했는지, 발언 간의 관계를 추적하는 것이 기존 LLM 메모리 시스템의 핵심 한계입니다.
- SpeakerMem-R1은 발언자 표시가 된 원문 메시지와 개인/그룹 수준의 상태를 별도로 저장하는 이중 추적 메모리를 구현합니다.
- 쿼리 시점에 사람, 사건, 시간을 기준으로 두 트랙의 정보를 결합하여 장기 대화 상태를 재구성합니다.
- Writer-R1을 SpeakerLevenshtein과 조건부 GRPO로 학습시켜 작은 모델로도 로컬에 배포 가능하도록 했습니다.
- GroupMemBench에서 47.9%, SocialMemBench에서 69.2%, EverMemBench에서 61.9% 정확도를 달성했으며, EverMemBench 리더보드에서 62.33%로 최고 성능을 기록했습니다.
- 강화학습을 통해 기존 감독 학습 모델의 정확도(57.38%)를 68.20%까지 향상시켰습니다.