페타바이트급 ClickHouse 클러스터 6년 운영 노하우
Key Point
페타바이트급 대규모 데이터 인프라를 운영하는 팀의 실제 경험에서 나온 아키텍처 결정, 비용 최적화, 그리고 오픈소스 ClickHouse의 한계를 명확히 보여줍니다.
핵심 요약
- Tinybird에서 6년간 페타바이트 규모의 ClickHouse 클러스터를 운영해온 경험을 바탕으로 설치보다는 운영이 어렵다는 점을 강조했습니다.
- 샤드 없이 수직 확장 레플리카로 시작한 후, HTTP 기반 로드 밸런서로 트래픽을 라우팅하고 쓰기 전용 레플리카를 분리하는 구조를 채택했습니다.
- 300TB 테이블에 1000 QPS를 처리하려면 10개 레플리카가 필요해 3000TB 용량이 필요하므로 SSD 비용이 매우 큰 문제가 됩니다.
- 오픈소스 ClickHouse는 클라우드 스토리지 지원이 제한적이며, 현대적 OLAP 데이터베이스는 Snowflake처럼 계산과 스토리지를 분리하는 구조로 나아가야 한다고 지적했습니다.
- S3 같은 중앙 스토리지 사용 시 각 레플리카가 데이터를 복사하거나 다른 레플리카 데이터를 참조하는 방식(제로카피 레플리케이션)으로 비용을 절감할 수 있습니다.