RAR 압축 파일에 숨겨진 가상머신으로 프로그램 짜기
원제 Fun with Constrained Programming (2012)
100 포인트댓글 4
Key Point
WinRAR의 압축 필터 엔진이 실제로 프로그래밍 가능한 가상머신이며, 보안이나 실용성 없이 순수한 흥미로 접근한 해킹 프로젝트다.
핵심 요약
- RAR 파일은 x86 유사 가상머신인 RarVM의 바이트코드를 포함할 수 있으며, 이는 데이터의 중복성을 높여 압축률을 개선하는 필터(전처리기)를 제공한다.
- Intel E8 필터 같은 표준 필터들은 x86 코드의 중복성을 증가시키는 방식으로 작동하는데, 압축 시 상대 주소를 절대 주소로 변환해 같은 명령어를 여러 번 나타나게 함으로써 압축 효율을 높인다.
- WinRAR은 약 12개의 표준 필터를 포함하지만, 흥미롭게도 아카이브가 런타임에 새로운 필터를 정의할 수 있도록 허용한다.
- 저자는 이 기능을 탐색하기 위해 어셈블러, 최소 링커, 문서를 포함한 RAR 툴체인을 작성했다.
- RarVM은 r0~r7 8개의 명명된 레지스터를 지원하고(r7은 스택 포인터), 최대 2억 5천만 개 명령어 실행 제한과 256KB 주소 공간을 가진다.
- 어셈블러는 레지스터, 메모리 참조, 레지스터 간접 참조, 베이스+인덱스 간접 참조 같은 피연산자 타입을 지원하며, x86과 달리 무제한의 메모리 참조를 허용한다.
- WinRAR은 출력 프로그램이 볼륨 헤더에 저장된 CRC와 일치해야 한다는 제약이 있어 동적 출력이 불가능해 보이지만, 저자는 Julien Tinnes의 동적 CRC 보정 알고리즘을 RarVM으로 포팅했다.
- 이를 통해 자기 자신의 CRC를 런타임에 보정해 고정된 CRC와 일치시키는 자가 호스팅 RAR 파일을 만들었는데, 이는 예측 불가능한 동적 출력을 가능하게 한다.