Cloudflare, 서버리스 이벤트 스트림 K2 공개 베타 출시

핵심 요약

• Cloudflare가 개발자 플랫폼용 내구성 있는 이벤트 스트리밍 서비스 K2를 공개 베타로 출시했다.
• K2는 프로듀서와 컨슈머를 분리하여 이벤트 손실을 방지하고, 주문화된 로그로 데이터를 저장한 뒤 여러 독립적인 리더가 자신의 속도로 소비할 수 있다.
• R2 객체 스토리지 위에 파티션된 내구성 로그를 구현하며, 장기 보존을 지원하므로 컨슈머 다운타임 중에도 데이터를 잃지 않는다.
• Basin Pipelines의 수집 계층으로 필요했던 내구성 있는 버퍼를 구현하기 위해 설계되었으며, Cloudflare의 335개 도시 전역 에지 네트워크에서 전통적인 Kafka 같은 분산 시스템을 실행할 수 없는 문제를 해결한다.
• R2는 append를 지원하지 않으므로 인메모리에 데이터를 축적한 후 완전한 세그먼트 파일로 작성하며, 99 백분위 수에서 약 1초의 프로듀서 지연을 가진다.
• 큐(Queues)는 개별 작업 항목 추적에, K2는 고규모 데이터 이동과 장기 보존을 위해, Basin Pipelines는 R2나 Iceberg 테이블 쓰기에 최적화되어 있다.
• 스트림 생성, HTTP API 또는 Worker 바인딩으로 프로듀싱, 구독 생성 및 컨슈머 풀 사이의 작업 분산을 지원한다.
• 한 번의 consume 호출로 5분 간의 배치 리스를 받으며, ack, nack, 리스 연장 중 하나를 수행할 수 있다.
• 베타 기간 중 Workers 유료 구독 계정에서 사용 가능하며, 스트림당 30MB/s 프로듀싱과 최대 10GB 스토리지 제한이 있다.
• 정식 출시 후 프로듀싱 및 컨슈밍 각각 GB당 0.04달러, 보존은 GB당 월 0.02달러의 가격을 예상한다.
• 향후 멀티 GB/s 스트림, 메시지 키 및 키 기반 정렬 보장, 푸시 기반 워커 컨슈머, 낮은 지연의 Express 티어, Apache Kafka 클라이언트 지원을 계획하고 있다.