단일 모델로 검색과 장문맥 처리 통합하는 UNREAL
원제 UNREAL: Unifying Retrieval and Long-Context with a Single Model
추천 21댓글 2
Key Point
대규모 언어모델의 검색과 장문맥 처리라는 두 가지 핵심 문제를 하나의 메커니즘으로 해결하는 새로운 접근으로, 생성 효율성과 정확도를 동시에 개선하는 경로를 제시한다.
핵심 요약
- 말뭉치 검색(RAG)과 장문맥 추론은 증거 선택을 서로 다른 규모로 처리하는데, 이를 통일할 수 있는지 묻는 논문이다.
- UNREAL은 LLM의 내부 표현에서 청크를 인코딩하고 검색 쿼리를 직접 도출하는 모델 내재 증거 선택 프레임워크다.
- 500K개 미만의 학습 가능 파라미터를 추가하며 기본 LLM은 수정하지 않는다.
- 3B 토큰 규모의 21M 청크 위키피디아 인덱스에서 조밀 및 하이브리드 모델 모두 기존 검색기-재순위기 시스템을 능가한다.
- HotpotQA 재현율을 49.1%에서 73.2%로, 2WikiMultiHopQA는 31.7%에서 60.1%로, MuSiQue는 8.8%에서 14.4%로 개선했다.
- 장문맥 작업에서 동일한 선택 메커니즘으로 방해 요소를 제거한 뒤 생성하면, NoLiMa의 정확도가 128K 토큰 최대 길이에서 1.0%에서 24.83%로 올라간다.
- LV-Eval의 F1 점수는 256K 토큰에서 49.97%에서 54.66%로 향상된다.
- 약 32K 토큰 이상에서 전체 문맥 추론 대비 FLOPs과 첫 토큰까지의 시간을 감소시키며, 문맥이 늘어날수록 이득이 커진다.
- 결과적으로 모델 내부 증거 선택이 대규모 말뭉치 검색과 증거 희소 장문맥 추론의 공통 기초가 될 수 있음을 보여준다.