Hacker News인프라 · 데브옵스

1개 VM에서 1500만 개 웹서버 돌리기

원제 15M web servers on one VM – smoltcp, DPDK, AF_XDP

197 포인트댓글 26
Key Point

커널 네트워크 스택 대신 smoltcp와 DPDK/AF_XDP로 전환하면 극한의 메모리 제약 하에서도 대규모 동시 접속을 처리할 수 있음을 보여주는 사례로, 고성능 인프라 엔지니어링의 최적화 기법을 배울 수 있다.

핵심 요약

  • 기본 웹서버는 listen, accept, recv, send, close 다섯 가지 syscall로 작동하며 약 6만5천 RPS를 처리한다.
  • 1500만 개 웹서버를 10GB RAM과 1개 CPU 코어로 운영하려면 먼저 포트 부족 문제를 해결해야 하는데, TCP 포트는 u16 범위(최대 6만5천)로 제한되어 있다.
  • IPv6 서브넷(2001:db8:1234:5678::/64 등)을 활용하면 각 서버가 고유 IP 주소를 가질 수 있으므로 같은 포트를 반복 사용할 수 있다.
  • 단순히 프로세스를 띄우면 각 웹서버가 1.5MB RAM을 소비해 20TB가 필요하므로, 대신 커스텀 런타임 내에서 모든 서버를 하나의 프로세스로 실행해야 한다.
  • Linux 커널의 socket 구조체가 약 3.3KB를 차지하므로 1500만 개 소켓을 열면 메모리 부족이 발생하는데, 이를 우회하려면 커널 네트워크 스택을 우회해야 한다.
  • smoltcp(Rust 기반 TCP/IP 스택)를 사용하면 커널을 거치지 않고 TUN/TAP, DPDK, AF_XDP 등의 방식으로 네트워크 카드와 직접 통신할 수 있다.
  • DPDK는 메모리 맵 버퍼를 통해 syscall 없이 네트워크 카드와 통신하되 1개 CPU 코어를 독점적으로 사용하며 전체 네트워크 인터페이스를 접수한다.
  • AF_XDP는 Linux eBPF 필터를 사용해 커널이 디바이스를 소유한 채로 유저스페이스 버퍼에 직접 패킷을 전달하므로 SSH 같은 기존 접근성을 유지한다.
  • 커스텀 런타임이 1500만 개 게스트를 메모리에 로드해서 스케줄러가 순환 실행하고, 게스트의 syscall을 smoltcp 네트워크 스택 호출로 대체하는 구조다.
  • smoltcp 구현 시 유휴 서버당 620바이트, 활성 서버당 약 1KB RAM을 사용해 1600만 개 서버까지 운영 가능하며, DPDK가 성능상 최고 성능을 보였다.
  • 커널 네트워크 스택을 유저랜드로 옮기면 RAM 사용량을 세밀하게 제어하고 성능을 크게 향상시킬 수 있으나, 완전한 POSIX 호환성을 갖춘 Linux 런타임 구현에는 상당한 작업이 필요하다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗