SQLite 기반 고성능 분산 blob 저장소 'Blobasaur' 출시
원제 Distributed, high-performance blob storage on SQLite
151 포인트댓글 35

Key Point
고처리량 blob 저장의 성능 병목을 샤딩 아키텍처로 해결한 사례로, SQLite 활용의 현실적 한계와 극복 방법을 보여줄 뿐만 아니라 단일 바이너리 배포 가능한 오픈소스 분산 저장소 구축 패턴을 제시한다.
핵심 요약
- 제로다가 Rust로 개발한 Blobasaur는 SQLite 위에 구축된 샤드 기반 분산 blob 저장소로, Redis 프로토콜을 지원하며 단일 노드에서 초당 25,324회 쓰기 작업을 처리한다.
- 트레이딩 플랫폼 카이트의 약 2천만 명 사용자가 저장하는 차트 레이아웃, 금융 지표 템플릿, 벡터 드로잉 등 KB~MB 규모의 JSON blob을 기존 SSDB를 대체해 관리한다.
- 쓰기 작업이 전체 트래픽의 50%인 상황에서 SQLite WAL 모드는 단일 쓰기 스레드만 허용하므로, Blobasaur는 단일 머신에서 여러 SQLite 데이터베이스 파일(샤드)로 데이터를 분산해 쓰기 동시성을 확보한다.
- 16개 샤드 구성에서 쓰기 처리량은 1개 샤드 대비 3.3배 증가하고 중앙값 쓰기 지연은 8.2ms에서 2.1ms로 단축된다.
- zstd 압축 사용 시 평균 64KB 페이로드가 약 9배 압축되어 SQLite 페이지 캐시 압력을 감소시키고, 99%의 압축된 값이 100KB 미만으로 유지되어 SQLite이 raw 파일시스템보다 빠른 성능을 발휘한다.
- SET/GET 평문 키와 Redis HSET/HGET 해시, 그리고 TTL 지원으로 만료된 행을 비동기 워커가 주기적으로 정리하며 부분 인덱스로 TTL 없는 행의 인덱스 공간을 절감한다.
- async_write 모드에서는 쓰기 메모리 큐 도입 후 즉시 OK 응답을 반환하되, read-your-writes 일관성을 보장하기 위해 보류 중인 쓰기와 삭제를 별도 맵에 추적한다.
- Redis Cluster 프로토콜 구현으로 CRC16 기반 16384개 해시 슬롯으로 키스페이스를 분할하며, 현재는 정적 슬롯 할당만 지원하고 라이브 재분배와 자동 장애조치는 미구현이다.
- 다중 프로브 일관성 해싱 사용으로 샤드 재설정 시 약 20%의 키만 이동하고, 오프라인 CLI 도구로 마이그레이션을 검증한다.
- 초기에는 TTL 정리 작업이 쓰기 락과 경합하면서 지연시간 스파이크(30~50ms)가 발생했으나, 정리 배치를 기존 쓰기 연결로 라우팅하고 한 번에 1,000행 단위로 제한해 해결했다.
- 프로덕션 3노드 클러스터(4 vCPU, 8GB RAM 각)에서 trading session 전체(09:00~15:30) p99 지연은 약 2ms, p50은 250~550마이크로초이며, HSET p99 2ms, HGET p99 1.4ms, HDEL p99 1ms 미만이다.
- Blobasaur는 AGPLv3 라이선스의 오픈소스로 GitHub에 공개되며 Go와 Python 서비스 간 Redis 프로토콜 호환성으로 기존 클라이언트 변경 없이 SSDB 대체가 가능했다.