수학으로 100TB 메모리 절약한 Cloudflare의 최적화 기법

Key Point
수십 테라바이트 규모의 메모리 최적화를 통해 확장 가능한 분산 시스템 설계에서 알고리즘 개선의 영향력을 직접 볼 수 있는 사례입니다.
핵심 요약
- Cloudflare가 로드 밸런싱 서비스인 Pingora Backend Router의 메모리 사용량을 줄이는 과정을 소개했다.
- 내부적으로 사용 중인 일관성 해싱(consistent hashing) 알고리즘이 서버 간 작업을 골고루 분배하는 원리를 설명한다.
- 해시 함수의 출력을 32비트 정수 범위로 표현한 뒤 각 서버와 작업을 이 범위에 매핑해 작업을 할당한다.