Hacker News인프라 · 데브옵스

malloc은 어떻게 메모리를 할당하나

원제 What is malloc doing, anyway?

148 포인트댓글 32
Key Point

malloc이 왜 그렇게 빠른지, 커널 호출을 어떻게 최소화하고 메모리를 관리하는지 이해할 수 있으며, 메모리 프리지(RSS 증가) 문제의 원인과 메커니즘을 기술 수준에서 파악할 수 있다.

핵심 요약

  • malloc은 사용자 프로그램에서 커널로 시스템 콜을 통해 메모리를 요청하며, 많은 작은 할당을 하므로 매번 syscall을 하는 대신 미리 큰 블록을 받아 사용자 영역에서 관리한다.
  • glibc에서 malloc(16)을 1000번 호출하면 전체 과정에서 단 두 개의 brk syscall만 발생하는데, 첫 번째 호출이 132 KiB를 할당한 후 나머지는 이미 할당된 메모리에서 나온다.
  • 각 할당(chunk)은 요청한 크기보다 8바이트 더 크며(헤더용), 16의 배수로 반올림되고 최소 32바이트인데, 반올림으로 포인터가 16바이트 정렬되어 모든 C 타입에 적합하다.
  • 메모리를 해제하면 청크는 free list에 들어가 재사용되며, 새 할당 요청 시 충분히 큰 청크를 찾아 분할하고, 인접한 해제된 청크들은 병합(coalescing)하여 단편화를 줄인다.
  • 커널은 가상 메모리를 실제 RAM으로 매핑할 때 4 KiB 페이지 단위로 demand paging을 수행하므로, sbrk로 할당한 가상 메모리는 쓰기 시점에만 실제 페이지 폴트를 발생시킨다.
  • trim 함수로 heap 최상단의 free chunk가 임계값(128 KiB)을 초과하면 break를 내려 커널에 메모리를 반환할 수 있으나, heap 중간의 free 청크는 그 위의 live 청크 때문에 반환할 수 없다.
  • 128 KiB 이상의 큰 할당은 mmap을 사용하면 각 청크가 자신의 매핑을 가지므로 munmap으로 즉시 커널에 반환할 수 있으나, sbrk 기반 heap은 연속 영역의 청크들끼리만 병합이 가능하다.
  • 성능 비교에서 toy allocator들(my-freelist-2는 5.12 µs, my-trim-3는 11.2 µs)이 glibc(0.0789 µs)보다 훨씬 느린 이유는 free list를 여러 번 순회하기 때문이다.
  • glibc는 크기별 bins와 thread-local tcache를 사용해 list 순회를 최소화하며, 5040번의 mmap 호출로 큰 요청을 관리하고, 할당에서 해제까지 전 과정을 최적화해 10배 이상 빠르다.
  • glibc의 tcache를 비활성화하면 0.250 MiB만 유지되지만 1.5배 느려지고, mmap 임계값을 128 KiB로 고정하면 10.7배 느려져, malloc이 syscall과 page fault를 최소화하기 위해 메모리를 '소비'한다는 설계 철학을 보여준다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗