DuckDB, SQL 기반 레이크하우스 포맷 DuckLake 공개
원제 DuckDB Ducklake
106 포인트댓글 14
Key Point
DuckDB가 Iceberg·Delta Lake 같은 경쟁 포맷들과 달리 SQL 우선 철학으로 레이크하우스를 구축하는 새로운 선택지를 제시했으며, 타임 트래블·스키마 진화 같은 현대적 기능을 표준 SQL로 단순하게 구현했다.
핵심 요약
- DuckDB가 SQL과 Parquet 기반의 오픈소스 레이크하우스 포맷 DuckLake를 확장으로 공개했다.
- DuckLake는 메타데이터를 카탈로그 데이터베이스에, 데이터를 Parquet 파일로 저장하며, DuckLake 확장을 통해 DuckDB에서 직접 읽고 쓸 수 있다.
- INSTALL 명령어로 설치하고 ATTACH 문법으로 데이터베이스를 연결한 후 표준 SQL로 테이블 생성·수정·쿼리가 가능하다.
- UPDATE 문을 통한 데이터 수정, VERSION 구문을 이용한 시간 기반 데이터 조회(타임 트래블), ALTER TABLE을 통한 스키마 진화, table_changes 함수를 이용한 변경 데이터 추적이 지원된다.
- DuckDB 데이터베이스 파일에 메타데이터를 저장하거나 PostgreSQL·SQLite를 카탈로그 데이터베이스로 사용할 수 있으며, 삭제 벡터(deletion vectors) 옵션도 제공한다.
- 외부 기여를 환영하며 main 브랜치를 중심으로 개발하고 있고, 다양한 테스트 명령어를 제공해 단일 파일·패턴별·다중 백엔드 테스트가 가능하다.