밀집 검색, 공유 vs 독립 투영 선택 기준을 이론으로 증명
Key Point
Dense retrieval 시스템에서 쿼리-문서 인코딩을 공유할지 독립적으로 설계할지 선택하는 문제에 처음으로 엄밀한 이론적 기준을 제시해, 실무 설계 결정의 근거를 제공한다.
핵심 요약
- Dense retrieval의 쿼리-문서 투영 방식 선택에 관한 이론적 기초를 제시한 논문으로, 저차원 이중선형 스코어링의 편향-분산 이론을 도입했다.
- 공유 투영(Shared)은 양의 준정치 연산자를 생성하고 독립 투영(Dual)은 임의의 저차원 연산자를 실현하는 구조적 차이가 있다.
- 정확한 근사 오차를 유도했으며, 제곱 방향신호가 추가 자유도의 추정 비용을 초과할 때만 독립 투영이 더 낮은 리스크를 갖는다는 국소 가우시안 경계를 증명했다.