pgvector 능가하는 벡터 검색 인덱스 등장
원제 Pg_vectorsearch: An index that is faster than pgvector's IVFFlat and HNSW
148 포인트댓글 42
Key Point
pgvector를 대체할 더 빠르고 효율적인 벡터 검색 솔루션을 찾는 개발자들에게 실제 선택지가 생겼으며, 기존 pgvector 테이블과의 호환성 덕분에 마이그레이션 진입장벽이 낮다.
핵심 요약
- Timescale이 PostgreSQL용 고성능 근사 최근접 이웃(ANN) 검색 확장 pg_vectorsearch를 공개했으며, 현재 알파 상태로 프로덕션 용도는 권장하지 않는다.
- PRISM 인덱스는 IVFFlat과 유사한 개념이지만 계층적 라우팅, RaBitQ 양자화, SIMD 최적화를 사용해 pgvector의 IVFFlat과 HNSW보다 쿼리와 인덱스 구축 모두에서 더 빠르다.
- 100백만 개 벡터 데이터셋에서 HNSW 대비 동등한 재현율(recall)을 달성하면서 1/4 메모리만 사용한다.
- RaBitQ 인코딩은 이론적 오차 범위를 제공해 재랭킹이 필요 없는 벡터를 미리 제외할 수 있다.
- 계층적 중심점 트리로 벡터를 클러스터로 분할하고, PostgreSQL 버퍼 캐시를 활용해 메모리에 유지한다.
- 쿼리 흐름은 중심점 트리 탐색 → 포스팅 리스트 스캔 → RaBitQ 필터링 → 전체 정밀도 재랭킹 순서다.
- vec32(float32)와 vec16(float16) 자체 타입을 지원하거나 기존 pgvector의 vector·halfvec 컬럼과 호환되어 마이그레이션 없이 인덱스를 구축할 수 있다.
- 동적 업데이트를 지원하며 prism_rebalance 절차로 포스팅 리스트를 분할하고, PostgreSQL 18 이상에서 구동된다.
- L2, 내적(inner product), 코사인 거리 메트릭을 지원하고 거리 함수별로 연산자 클래스를 선택할 수 있다.
- 기본 설정값은 대규모 벤치마크로 튜닝되었으며, 대부분 배포 환경에서 prism.nprobe 파라미터만 조정한다.
- LIRE 프로토콜(SPFresh)과 계층적 클러스터링(ScaNN)을 기반으로 설계되었다.