malloc은 어떻게 메모리를 할당하나
원제 What is malloc doing, anyway?
148 포인트댓글 32

Key Point
malloc이 왜 그렇게 빠른지, 커널 호출을 어떻게 최소화하고 메모리를 관리하는지 이해할 수 있으며, 메모리 프리지(RSS 증가) 문제의 원인과 메커니즘을 기술 수준에서 파악할 수 있다.
핵심 요약
- malloc은 사용자 프로그램에서 커널로 시스템 콜을 통해 메모리를 요청하며, 많은 작은 할당을 하므로 매번 syscall을 하는 대신 미리 큰 블록을 받아 사용자 영역에서 관리한다.
- glibc에서 malloc(16)을 1000번 호출하면 전체 과정에서 단 두 개의 brk syscall만 발생하는데, 첫 번째 호출이 132 KiB를 할당한 후 나머지는 이미 할당된 메모리에서 나온다.
- 각 할당(chunk)은 요청한 크기보다 8바이트 더 크며(헤더용), 16의 배수로 반올림되고 최소 32바이트인데, 반올림으로 포인터가 16바이트 정렬되어 모든 C 타입에 적합하다.
- 메모리를 해제하면 청크는 free list에 들어가 재사용되며, 새 할당 요청 시 충분히 큰 청크를 찾아 분할하고, 인접한 해제된 청크들은 병합(coalescing)하여 단편화를 줄인다.
- 커널은 가상 메모리를 실제 RAM으로 매핑할 때 4 KiB 페이지 단위로 demand paging을 수행하므로, sbrk로 할당한 가상 메모리는 쓰기 시점에만 실제 페이지 폴트를 발생시킨다.
- trim 함수로 heap 최상단의 free chunk가 임계값(128 KiB)을 초과하면 break를 내려 커널에 메모리를 반환할 수 있으나, heap 중간의 free 청크는 그 위의 live 청크 때문에 반환할 수 없다.
- 128 KiB 이상의 큰 할당은 mmap을 사용하면 각 청크가 자신의 매핑을 가지므로 munmap으로 즉시 커널에 반환할 수 있으나, sbrk 기반 heap은 연속 영역의 청크들끼리만 병합이 가능하다.
- 성능 비교에서 toy allocator들(my-freelist-2는 5.12 µs, my-trim-3는 11.2 µs)이 glibc(0.0789 µs)보다 훨씬 느린 이유는 free list를 여러 번 순회하기 때문이다.
- glibc는 크기별 bins와 thread-local tcache를 사용해 list 순회를 최소화하며, 5040번의 mmap 호출로 큰 요청을 관리하고, 할당에서 해제까지 전 과정을 최적화해 10배 이상 빠르다.
- glibc의 tcache를 비활성화하면 0.250 MiB만 유지되지만 1.5배 느려지고, mmap 임계값을 128 KiB로 고정하면 10.7배 느려져, malloc이 syscall과 page fault를 최소화하기 위해 메모리를 '소비'한다는 설계 철학을 보여준다.