대화 메모리, 추출보다 선택이 충분할 수 있다
원제 When Does Selection Replace Extraction? A Pre-Registered Test of Agent Memory with a Typed Decision Model
추천 20댓글 2
Key Point
메모리 효율성과 비용 사이의 트레이드오프에서, 저예산 환경에서는 단순 선택이 복잡한 추출만큼 유효하다는 실증적 근거를 제시한다.
핵심 요약
- 대화 메모리를 LLM이 추출한 사실로 유지할 필요가 있는지, 아니면 원본 대화에서 잘 선택한 부분으로 충분한지를 묻는 연구를 진행했다.
- Jev라는 유형화된 의사결정 모델로 원본 대화를 선택한 결과, LLM 추출 메모리와 비교해 동등한 성능을 보였고(95% 신뢰도, -3.0점 여유), 원본 글쓰기 비용은 3,061배 낮았다.
- 인간 평가자 블라인드 채점에서도 차이가 좁혀졌지만 결과는 유지되었으며, 다른 응답 모델을 사용해도 결과가 일관성 있게 나타났다.
- 예산이 제한적일 때(30개 중 3개 선택) 재순위매김은 17.4점(LoCoMo)과 9.1점(LongMemEval) 향상을 보였으나, 예산이 넉넉해지면 1.5점과 1.1점으로 줄어들었고 이때는 추출 시스템이 더 정확했다.
- 같은 문맥에서 Jev는 LLM 재순위매김과 정확도는 동등하면서(95% 신뢰도, -2.0점) 지연시간은 3분의 1이었고, 다중 호출 그래프 순회보다 정확했다.
- 재순위매김은 올바른 기권 비율을 낮추는 부작용이 있었으며, 연구팀은 계획, 코드, 평가된 답변을 공개했다.