쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
2건 · "OLAP"조건 지우기 ×
001▲ 124 · 댓글 43DuckDB 2.0이 2~3배 빨라진 이유DuckDB 2.0 알파가 출시됐으며, S3 쿼리, 깊은 계층 구조 처리, JSON 저장소에서 주요 성능 향상을 달성했다.인프라 · 데브옵스 · Why DuckDB 2.0 is faster
Key PointS3 쿼리가 2~3배 빨라지고 깊은 계층 구조 처리는 100배 이상 빨라지는 등 실제 데이터 파이프라인의 병목을 직접 해결하는 기능들이 핵심이다.
핵심 요약
- DuckDB 2.0 알파가 출시됐으며, S3 쿼리, 깊은 계층 구조 처리, JSON 저장소에서 주요 성능 향상을 달성했다.
- 비동기 I/O 기능: 별도 스레드 풀이 데이터를 미리 다운로드하면서 CPU와 네트워크를 동시에 활용하며, S3에서 2.2GB 파일 읽기가 18.8초에서 7.7초로 단축됐다.
- read_ahead_depth 설정(기본값 -1)으로 자동 활성화되며, 이전 동작으로 돌리려면 0으로 설정하면 된다.
전체 요약 12문장 읽기 →인프라 · 데브옵스 · I've operated petabyte-scale ClickHouse clusters for 5 years
Key Point페타바이트급 대규모 데이터 인프라를 운영하는 팀의 실제 경험에서 나온 아키텍처 결정, 비용 최적화, 그리고 오픈소스 ClickHouse의 한계를 명확히 보여줍니다.
핵심 요약
- Tinybird에서 6년간 페타바이트 규모의 ClickHouse 클러스터를 운영해온 경험을 바탕으로 설치보다는 운영이 어렵다는 점을 강조했습니다.
- 샤드 없이 수직 확장 레플리카로 시작한 후, HTTP 기반 로드 밸런서로 트래픽을 라우팅하고 쓰기 전용 레플리카를 분리하는 구조를 채택했습니다.
- 300TB 테이블에 1000 QPS를 처리하려면 10개 레플리카가 필요해 3000TB 용량이 필요하므로 SSD 비용이 매우 큰 문제가 됩니다.
전체 요약 5문장 읽기 →