RAG 에이전트 평가 예산을 어떻게 배분할까
원제 Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
추천 19댓글 2
Key Point
RAG 시스템 평가에 투입할 제한된 예산을 질문, 탐색 경로, 반복 읽기 중 어디에 쓸지 결정하는 실증적 기준을 제시하므로, 대규모 언어모델 평가를 설계하는 연구자들이 의사결정할 때 직접 참고할 수 있다.
핵심 요약
- 생성형 AI 모델이 정보를 찾아 답변하는 RAG 에이전트의 평가 비용을 효율적으로 배분하는 문제를 다룬 논문이다.
- HotpotQA와 MuSiQue 데이터셋에서 회수 피드백 비교를 통해 3.4천만 토큰 예산에서 질문 커버리지를 넓히는 것이 다섯 번 반복 읽기보다 표준 오차를 33% 낮추고, 세 가지 탐색 경로보다 12.6% 낮춘다는 것을 측정했다.
- 저장된 예측 모델이 최적 배분을 4.0%(중첩 경로) 및 3.5%(질문만 사용) 범위 내에서 예측할 수 있음을 보였다.
- 한 번의 읽기로 인한 분산 패널티는 같은 토큰 예산 최적값 대비 0~9.9% 범위이며, 제품 불확실성이 상당하다.
- 검색 가격이 1,000개당 0~1달러 수준에서는 더 많은 질문이 더 많은 탐색 경로보다 효율적이나, 질문 대비 읽기 요금 비교는 아직 결론이 나지 않았다.
- 온도를 0으로 고정하면 모델의 답변 불일치율이 14.3%에서 3.4%로 감소하지만 비교 정밀도는 유지된다.