애플, RAG 검색 속도 최대 11배 개선하는 신경망 기법 공개
원제 Faster Retrieval for Better, More Efficient RAG
135 포인트댓글 24

Key Point
RAG 기반 AI 애플리케이션의 검색 속도가 최대 11배 개선되면 응답 시간 단축과 인프라 비용 절감이 직결되므로, 대규모 검색 시스템을 운영 중인 개발팀과 MLOps 담당자에게 즉시 실무 적용 가능한 최신 최적화 기법이다.
핵심 요약
- 추천 시스템, 검색, RAG의 핵심인 최대내적탐색(MIPS)은 쿼리 벡터와 수백만 개 후보 벡터를 비교해야 해 계산 비용이 급증하는 문제가 있다.
- 기존 방법들은 클러스터링과 양자화로 속도를 높이지만 쿼리 분포를 무시하고, RAG에서는 사용자 질문(쿼리)과 문서(키)의 특성이 크게 달라 최적이 아니다.
- 애플 연구팀은 ICML 2026에서 쿼리별 라우팅을 학습하는 소형 신경망 두 가지를 제시했다: SupportNet은 각 클러스터별 지원함수(support function)를 학습해 라우팅 정확도를 높이고, KeyNet은 쿼리를 최적 키로 직접 변환해 기존 인덱스와 결합한다.
- Natural Questions 데이터셋 실험에서 SupportNet은 95% 재현율을 1.74ms에 도달해 중심점 라우팅보다 1.9배 빠르고, 데이터베이스 5% 스캔 시 87.5% 대비 92.6% 정확도를 달성했다.
- KeyNet은 IVF 인덱스와 결합해 99% 재현율을 ~8배 빠르게 달성(0.23ms vs 1.8ms)했으며, 0.001% 데이터만 스캔해 96.7% 정확도를 보였다(기존 86%).
- KeyNet으로 변환된 쿼리는 동일 재현율에 11배 적은 키만 검사(0.009% vs 0.10%)하고, 두 방식 모두 기존 근사 검색 인프라와 호환되며 쿼리 분포 변화에 강건하다.
- SupportNet은 보정된 점수가 필요할 때나 작은 모델 크기에서, KeyNet은 추론 속도가 중요할 때 선택하며, 대규모 시스템은 두 방식을 조합(클러스터별 라우터 + 각 클러스터마다 KeyNet)할 수 있다.
- 이 접근법은 오프라인 한 번의 훈련으로 쿼리 분포에 맞게 최적화된 경량 추론을 가능하게 하며, 알려진 쿼리 분포를 활용하는 프로덕션 시스템에서 학습 기반 검색의 새로운 방향을 제시한다.