RAG 파이프라인 최적화는 부품 조합 방식이 핵심
원제 Retrieval Augmented Generation Compositionality
추천 50댓글 1
Key Point
RAG 시스템을 구축할 때 각 기법을 따로 최적화하는 현재 관행이 실제 성능 향상으로 이어지지 않으며, 전체 구성 방식과 코퍼스 규모를 함께 고려해야 한다는 점을 실증한 연구다.
핵심 요약
- RAG(검색 증강 생성)는 임베딩, 청킹, 검색, 재순위, 쿼리 증강, 컨텍스트 압축, 에이전트 검증 등 여러 기법을 조합하지만 보통 각 기법을 따로 평가해왔다.
- 개방형 프레임워크 LASAGNA를 활용해 8개 벤치마크와 5K~200K 문서 규모 코퍼스에서 450개 구성을 테스트했다.
- 개별적으로 강한 검색 기법 3개는 +47% 성능 향상을 예측했으나, 함께 사용하면 +17%만 달성해 조합 시 성능 이득이 감소했다.
- 컴포넌트 이득이 검색과 답변 신뢰도에서 다르게 쌓이며, 하나를 최적화하면 다른 하나가 악화될 수 있다.
- 코퍼스 규모가 커질수록 최적 구성이 바뀌어 소규모에서 최고 성능인 조합이 대규모에서는 최적이 아닐 수 있다.
- 단독 측정 성능은 실제 성능의 신뢰할 수 있는 예측자가 아니며, 새로운 RAG 기법은 전체 파이프라인 스택과 함께 테스트해야 한다.