16년 묵은 SQLite 버그, 테일스케일이 찾아내다
원제 Tracking down the 16-year-old WAL-reset SQLite bug
1,072 포인트댓글 200
Key Point
대규모 서비스에서 일반적으로 안정적이라고 여겨지는 SQLite의 오랜 버그를 발견하고 해결 과정을 공개하면서 데이터베이스 신뢰성 논의를 촉발했다.
핵심 요약
- 테일스케일은 2022년부터 각 샤드에 SQLite 데이터베이스를 사용하고 있으며, 지난해 8월부터 6개월간 19건의 데이터베이스 손상 사건을 겪었다.
- 손상이 발생할 때마다 제어 평면 프로세스를 중단하고 데이터베이스를 복구해야 했으며, 초기에는 1시간 이상의 다운타임이 발생했다.
- 명확한 트리거 조건이 없어 재현이 불가능했고, 라이브 환경에서 수동 포렌식 원격 분석을 배포해 문제를 추적했다.