수학으로 100TB 메모리 절약한 Cloudflare의 최적화 기법
원제 Saving another 100TB of RAM
191 포인트댓글 36
Key Point
수십 테라바이트 규모의 메모리 최적화를 통해 확장 가능한 분산 시스템 설계에서 알고리즘 개선의 영향력을 직접 볼 수 있는 사례입니다.
핵심 요약
- Cloudflare가 로드 밸런싱 서비스인 Pingora Backend Router의 메모리 사용량을 줄이는 과정을 소개했다.
- 내부적으로 사용 중인 일관성 해싱(consistent hashing) 알고리즘이 서버 간 작업을 골고루 분배하는 원리를 설명한다.
- 해시 함수의 출력을 32비트 정수 범위로 표현한 뒤 각 서버와 작업을 이 범위에 매핑해 작업을 할당한다.
- 단순 일관성 해싱의 문제점은 서버가 100개일 때 표준편차가 약 99%로 커서 일부 서버는 2배 이상의 요청을 처리하게 된다는 것이다.
- 여러 해시값을 추가해 범위를 더 잘게 나누는 방식으로 부하 불균형을 개선할 수 있다.
- 이러한 최적화로 전 세계적으로 100TB 이상의 메모리를 확보했다.