Hacker News인프라 · 데브옵스

정규화된 스키마에서도 빠른 검색 가능, ParadeDB의 Rank Join

원제 Do we still have to denormalize? Have your schema and search it too

113 포인트댓글 40
Key Point

정규화된 스키마를 유지하면서도 검색 성능을 1000배 이상 개선할 수 있게 되어, 역정규화의 복잡성과 비용을 없앨 수 있는 기술적 돌파구가 나타났기 때문입니다.

핵심 요약

  • ParadeDB가 검색 쿼리에서 정규화된 다중 테이블 조인을 지원하는 Rank Join 연산자를 추가했다.
  • 기존에는 검색 엔진을 쓰려면 데이터를 역정규화(denormalize)해야 했고, Postgres에서 정규화 상태로 조인 검색하면 매우 느렸다.
  • StackOverflow 벤치마크에서 3개 테이블 OR 쿼리가 Vanilla Postgres 2분(118,000ms)에서 ParadeDB 100ms로 1000배 빨라졌고 추가 인프라 없이 실행된다.
  • Rank Join은 정렬된 액세스(SA)로 각 테이블에서 높은 점수순으로 행을 스트리밍하면서 임계값(threshold) 추적을 통해 모든 행을 조인하기 전에 조기 종료한다.
  • 점수가 느리게 감소하거나 한쪽 테이블에만 매칭되는 경우, 임의 액세스(RA)로 반대편 테이블을 직접 조회하여 정확한 점수를 빠르게 확인한다.
  • GROUP BY로 그룹화하는 집계 쿼리는 Tuple Tagging(OR 필터링)·인덱스 공동 분할(join key별 병렬화)·Late Materialization(조인 후 필요한 열만 가져오기)로 35.3초를 422ms(48배 감소)로 줄였다.
  • ParadeDB의 인덱스는 조인 키와 프로젝션된 열을 columnar 형식으로 저장하고, Apache DataFusion 기반 벡터화 실행기로 tuple-at-a-time Postgres 힙 접근 없이 직접 처리한다.
  • LSM-tree 기반 인덱스는 추가 Facet 열 증가에도 랜덤 쓰기 오버헤드가 없어 덮어쓰기 성능을 유지한다.
  • 모든 비검색 쿼리는 Postgres 표준 플래너·실행기를 계속 사용하며, 검색 쿼리만 ParadeDB 실행기로 가로챈다.
  • 단일 코어에서 실행되는 현재 Rank Join은 향후 여러 워커로 병렬화되어 더 빨라질 예정이다.
  • 정규화된 데이터 모델과 빠른 검색을 동시에 원하는 사용자들의 요청에 응답하기 위해 개발했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗