메모리 4분의 1만 써도 FAISS보다 빠른 벡터 검색 엔진

핵심 요약

• Google의 TurboQuant 알고리즘 기반 Rust 벡터 인덱스로, Python 바인딩을 제공한다.
• 1,000만 문서 기준 float32 31GB가 4GB로 압축되며 FAISS IndexPQFastScan보다 빠른 검색 속도를 낸다.
• 온라인 인제스트 지원으로 훈련 단계 없이 벡터를 바로 색인하고, 증분 저장으로 변경분만 동기화한다.
• ARM의 NEON, x86의 AVX-512/AVX2 등 최적화된 SIMD 커널로 검색 시 3.4배 빠른 성능을 달성한다.
• 검색 시점의 필터링으로 허용된 ID 세트만 검색하며, 로컬 전용이라 개인정보보호와 지연시간이 중요한 RAG에 적합하다.
• LangChain, LlamaIndex, Haystack 등 주요 RAG 프레임워크 통합을 제공한다.