생성 모델이 직접 관련성 판단…글랜스 레랭킹 방식
원제 Glance: The Generator Is Its Own Reranker
추천 10댓글 1
Key Point
기존 RAG의 이중 모델 문제를 하나의 생성 모델로 통합하면서도 리랭킹 정확도는 더 높이는 방식이 제시되어, 비용 효율과 성능 사이의 트레이드오프를 해결하는 방법을 제시한다.
핵심 요약
- 검색 증강 생성(RAG)에서 보통 별도의 리랭커 모델과 생성 모델을 이중으로 두지만, Glance는 생성 모델 자체에 경량 의사결정 어댑터와 포인터 헤드를 더해 두 역할을 한 모델이 수행하도록 했다.
- 쿼리-문단 쌍을 각각 따로 처리하지 않고 공유된 prefill 캐시에서 짧은 관련성 프로브를 분기하여 각 후보 문단마다 하나의 점수를 생성하므로, 처리 비용을 크게 줄인다.
- 9B 백본 모델이 생성, 일반 의사결정, 리랭킹을 모두 담당하며 각 기술별로 약 0.1GB의 추가 메모리만 필요하다.
- MS MARCO에서 39분간 파인튜닝한 후 Glance는 SciFact에서 nDCG@10 0.741, NFCorpus에서 0.345를 기록했고, 비교 대상인 bge-reranker-v2-m3의 0.721과 0.326을 초과했다.
- HotpotQA 300개 질문에서 Glance가 선택한 문맥으로 답변 F1 점수가 크로스 인코더 선택 문맥보다 0.045 높았으며, 95% 신뢰도로 [0.014, 0.076] 범위에 있다.
- 후보 200개(4만3천 토큰)까지 스케일링했을 때 리랭킹 품질이 계속 올라가서 크로스 인코더를 nDCG@10에서 0.058 초과했으며, 프로브만 활성화한 어댑터는 원래 문단 캐시에서 생성을 계속 진행할 수 있다.
- 현재 평가는 검색 데이터셋 2개, QA 데이터셋 1개, 백본 패밀리 1개에 제한된 초기 결과로, 한 개의 거주 백본으로 생성기 기반 리랭킹이 가능함을 보여준다.