원제 MiniLake Is a Local Databricks API Emulator with SQL, Delta Lake and Spark
100 포인트댓글 25
Key Point
개발자는 실제 Databricks 코드를 작성·테스트하지만 로컬에서 가짜 API로 거치고 싶을 때가 많은데, 이제 진정한 Delta 파일과 Spark 작업을 로컬 머신에서 돌릴 수 있게 되었다.
핵심 요약
Databricks API를 로컬 머신에서 에뮬레이션하는 오픈소스 도구 MiniLake를 출시했다. SQL은 DuckDB에서, Delta 테이블은 실제 파일로, 작업은 컨테이너의 spark-submit으로 실행된다.
databricks-sdk, Databricks CLI, Terraform, MCP 에이전트를 localhost:8000으로 가리켜 사용할 수 있으며 어떤 토큰도 인증된다. pip install이나 docker run으로 설치하고 초기화된 SQL 워크스페이스 UI에 접근할 수 있다.
Unity Catalog은 CRUD 지원 카탈로그·스키마·테이블·볼륨을 제공하며 각 카탈로그는 자체 DuckDB 데이터베이스 파일이므로 세 부분 주소 지정이 기본으로 작동한다.