화재 감지기 오동작이 제인 스트릿 NYC 데이터센터를 잠수시킬 뻔
원제 A false smoke alarm almost drowned Jane Street's only NYC datacenter
143 포인트댓글 72
Key Point
금융사의 물리 인프라 재해 대응 실패가 어떻게 극적으로 회피되었는지, 그리고 그 과정에서 엔지니어링 문화와 신뢰할 수 있는 모니터링의 중요성이 드러나는 사례.
핵심 요약
- 제인 스트릿 시스템팀은 뉴욕 1 New York Plaza 건물 내 거래소 건너편에 데이터센터를 운영했으며, 자동 거래 시스템을 긴급 차단할 수 있도록 손수 전원 케이블을 뽑을 수 있는 위치에 유지했다.
- 한 저녁 건설 작업자가 인접한 준비실에서 먼지를 일으켜 화재 감지기가 오동작했고, 이로 인해 냉각 장치(CRAC)가 자동 차단되었다.
- 스프링클러 시스템은 연기 감지기가 동작하면 배관에 물을 채우고, 개별 스프링클러 헤드는 열에 반응하여 물을 분사하는 구조인데, 냉각 없이 온도가 올라가면 스프링클러가 작동하여 서버를 물로 잠글 위험이 있었다.
- 저자는 9분 거리의 아파트에서 사무실로 달려가 모든 서버 전원 케이블을 뽑았고, 온도가 141°F에서 143.6°F까지 올라갔다가 멈췄다.
- 뉴욕 시장이 닫혀있었으므로 가동 중지로 인한 손실은 미미했고, 다음 날 아침 정상화되었다.
- 회사는 스프링클러를 유지하되 절차를 강화하고 감시를 개선하기로 결정했다.
- 저자는 다음날 OCaml로 모니터링 시스템을 작성했으며, 매 분마다 각 서버의 온도를 직접 수집하여 평균을 계산하고 이상 신호가 감지되면 시스템팀에 경고를 보냈다.
- 이 방식은 CRAC 차단이나 전용 온도센서보다 안정적이라 판단했으며, 물리적으로 신뢰할 수 있는 모니터링 방식이 미지의 위험을 방지할 수 있다는 교훈을 얻었다.