GitHub Trending인프라 · 데브옵스

datazip-inc/olake-go

OLake Go: 데이터베이스와 카프카를 Iceberg로 고속 복제

원제 datazip-inc/olake-go

스타 2,034당일 +115Go
Key Point

고비용의 상용 데이터 파이프라인 도구(Fivetran)를 오픈소스로 대체할 수 있으며, 벤더 락인 없는 Iceberg 포맷으로 데이터를 관리할 수 있다는 점이 중요하다.

핵심 요약

  • Go로 작성된 오픈소스 데이터 수집 엔진으로, PostgreSQL, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3 등에서 Apache Iceberg 또는 Parquet 형식으로 데이터를 복제한다.
  • 풀로드와 CDC(변경 데이터 캡처) 기능을 지원하며, 자동 스키마 발견과 스키마 진화를 포함한 스마트 동기화 기능을 제공한다.
  • PostgreSQL의 경우 580,113 RPS로 Fivetran보다 12.5배 빠르고, MySQL은 139,773 RPS로 1.91배, MSSQL은 345,866 RPS로 4.32배 빠르다.
  • Iceberg 카탈로그는 Glue, Hive, JDBC, REST(Nessie, Polaris, Unity, Lakekeeper, AWS S3 tables) 등을 지원한다.
  • 웹 UI와 CLI를 제공하며, Docker Compose로 몇 분 안에 배포 가능하고 소스 연결 후 즉시 동기화를 시작할 수 있다.
  • Spark, Flink, Kafka, Debezium 같은 복잡한 인프라 없이 경량으로 운영되도록 설계되었다.
  • Kubernetes Helm, 스탠드얼론 Docker, Airflow 등 다양한 배포 방식을 지원한다.
  • MongoDB의 CDC는 10,692 RPS, Kafka의 Bounded Incremental은 209,065 MPS(Flink보다 1.23배 느림)의 성능을 제공한다.
  • SQL 기반 데이터베이스뿐만 아니라 S3의 증분 동기화와 Kafka의 최신 오프셋 기반 동기화도 지원한다.
  • OLake Fusion이라는 별도의 테이블 유지보수 자동화 도구가 함께 제공된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗