초고속 압축 알고리즘 LZ4, GitHub 트렌딩

핵심 요약

• LZ4는 손실 없는 압축 알고리즘으로, 코어당 500 MB/s 이상의 압축 속도를 제공하며 멀티코어 CPU에서 확장 가능합니다.
• 디코딩 속도는 코어당 수 GB/s에 달하며 멀티코어 시스템에서 보통 RAM 속도 한계에 도달합니다.
• 압축 비율과 속도를 거래하는 '가속' 팩터를 조정하여 압축 속도를 동적으로 조정할 수 있습니다.
• 고압축 변형인 LZ4_HC는 CPU 시간을 소비하여 더 높은 압축률을 달성하지만 모든 버전은 동일한 압축 해제 속도를 제공합니다.
• 벤치마크 결과 LZ4 기본값(v1.11.0)은 압축 770 MB/s, 압축 해제 4950 MB/s를 달성하며 압축률은 2.112배입니다.
• LZ4_HC -9는 압축률 2.717배, 압축 해제 4800 MB/s를 제공하면서 압축 속도는 40 MB/s로 더 느립니다.
• Silesia Corpus를 기준으로 한 벤치마크에서 LZ4는 Snappy(520 MB/s), zlib(110 MB/s) 등 다른 압축기보다 빠릅니다.
• 사전 압축 기능을 지원하며 최대 64 KB의 최종 데이터를 사전으로 사용할 수 있고, Zstandard Dictionary Builder와 함께 사용하여 소형 파일 압축 성능을 향상할 수 있습니다.
• 라이브러리는 BSD 2-Clause 라이선스, lz4 명령줄 유틸리티는 GPL-2.0-or-later 라이선스로 제공됩니다.
• vcpkg, CMake, Meson, Visual Studio 등 다양한 빌드 시스템과 설치 방식을 지원합니다.
• Java, C#, Python, Perl, Ruby 등 다양한 언어로 포팅되어 있으며, 대부분의 리눅스 배포판 패키지 관리자에 포함되어 있습니다.