포스트호그, DuckDB 대신 Trino 기반 HogLake로 이전

Key Point
데이터웨어하우스 기술을 선택할 때 단일 노드 성능과 대규모 클라우드 운영의 근본적인 차이, 그리고 기존 도구의 한계를 극복하기 위해 기업이 내부 솔루션을 직접 구축하는 실제 사례를 보여준다.
핵심 요약
- 포스트호그는 5개월 전 데이터웨어하우스를 ClickHouse에서 DuckDB로 옮겼지만, 대규모 고객 워크로드를 감당하지 못해 이제 자체 Trino 구현 기반으로 다시 재구축하기로 결정했다.
- DuckDB는 단일 노드에서 뛰어나지만 클라우드 환경에서는 문제가 있었다: 복잡한 쿼리를 위해 대형 인스턴스가 필요했고, 쿼리가 실행되기 전에 워커 크기를 정해야 했으며, S3에서 비동기 페칭이 없었다.
- DuckLake 확장을 기본으로 설치했으나 분산 확장을 염두에 두고 설계되지 않았다: 카탈로그 스키마가 여러 SQL 데이터베이스 간 호환성을 유지해야 해 엔진별 최적화가 제한되었고, 단일 테이블 쓰기가 3분 이상 걸렸다.