단일 모델로 검색과 장문맥 처리 통합하는 UNREAL
Key Point
대규모 언어모델의 검색과 장문맥 처리라는 두 가지 핵심 문제를 하나의 메커니즘으로 해결하는 새로운 접근으로, 생성 효율성과 정확도를 동시에 개선하는 경로를 제시한다.
핵심 요약
- 말뭉치 검색(RAG)과 장문맥 추론은 증거 선택을 서로 다른 규모로 처리하는데, 이를 통일할 수 있는지 묻는 논문이다.
- UNREAL은 LLM의 내부 표현에서 청크를 인코딩하고 검색 쿼리를 직접 도출하는 모델 내재 증거 선택 프레임워크다.
- 500K개 미만의 학습 가능 파라미터를 추가하며 기본 LLM은 수정하지 않는다.