GROUP BY 쿼리, 슬롯 기반 필터링으로 70% 파티션 건너뛰다
Key Point
LIMIT이 있는 GROUP BY 쿼리는 데이터 분석 워크로드의 60% 이상을 차지하는데, 이 최적화로 동일한 결과를 70% 더 적은 연산으로 얻을 수 있다.
핵심 요약
- Pivot 데이터베이스가 GROUP BY 쿼리 중 상위 K개 그룹만 필요한 경우를 최적화하는 신규 기법을 공개했다.
- 기존 GROUP BY는 모든 파티션을 집계한 후 병합하는데, 예를 들어 4,096개 파티션 중 상위 10개만 반환하는 경우 대부분의 파티션이 불필요한 작업을 한다.
- 초기 최적화는 각 파티션의 총합만 추적하는 방식이었으나, 100개 항목이 각각 15 주문씩인 경우와 1개 항목이 1,401 주문인 경우를 구분하지 못했다.