Hacker News인프라 · 데브옵스

포스트호그, DuckDB 대신 Trino 기반 HogLake로 이전

원제 Moving our warehouse off DuckDB

131 포인트댓글 96
Key Point

데이터웨어하우스 기술을 선택할 때 단일 노드 성능과 대규모 클라우드 운영의 근본적인 차이, 그리고 기존 도구의 한계를 극복하기 위해 기업이 내부 솔루션을 직접 구축하는 실제 사례를 보여준다.

핵심 요약

  • 포스트호그는 5개월 전 데이터웨어하우스를 ClickHouse에서 DuckDB로 옮겼지만, 대규모 고객 워크로드를 감당하지 못해 이제 자체 Trino 구현 기반으로 다시 재구축하기로 결정했다.
  • DuckDB는 단일 노드에서 뛰어나지만 클라우드 환경에서는 문제가 있었다: 복잡한 쿼리를 위해 대형 인스턴스가 필요했고, 쿼리가 실행되기 전에 워커 크기를 정해야 했으며, S3에서 비동기 페칭이 없었다.
  • DuckLake 확장을 기본으로 설치했으나 분산 확장을 염두에 두고 설계되지 않았다: 카탈로그 스키마가 여러 SQL 데이터베이스 간 호환성을 유지해야 해 엔진별 최적화가 제한되었고, 단일 테이블 쓰기가 3분 이상 걸렸다.
  • 카탈로그 통계의 99%가 존재하지 않는 테이블에 속했는데 이를 정리하면 쓰기 속도가 30~50배 빨라졌지만, 통계 행이 계속 쌓였다.
  • 포스트호그는 처음부터 전체 데이터(약 2PB, 약 1조 행, 1530만 개 스냅샷)를 DuckLake에 넣었는데 여러 방식으로 깨져 커뮤니티 버전 대신 포크를 유지해야 했다.
  • Postgres 포트 5432를 통한 직접 연결도 문제가 있었다: HTTP와 달리 확장이 어렵고, 유휴 연결 관리와 TTL 관리가 대규모에서 어려웠으며, pgwire용 로드 밸런싱 도구가 부족했고, 다양한 Postgres 클라이언트가 각기 다른 동작을 기대했다.
  • 포스트호그는 자체 Trino 변형과 새로운 오픈 테이블 포맷 HogLake를 구축했으며, 페타바이트 규모에서 먼저 테스트한 후 설계 파트너와 함께 공개할 계획이다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗