부트섹터에서 구동하는 신경망 모델
원제 Show HN: A language model that lives in a boot sector
100 포인트댓글 6
Key Point
PC 부팅의 가장 제약된 공간인 512바이트 부트섹터에 신경망 추론 엔진을 완전히 구현한 기술적 도전으로, 임베디드 ML 최적화의 극한을 보여준다.
핵심 요약
- bootgpt는 MBR 512바이트에 어셈블리로 작성된 신경망 부트로더로, PC 켜질 때 11.5KB int8 모델을 다음 23섹터에서 로드해 386 16비트 리얼 모드에서 실행한다.
- OS나 C 런타임 없이 작동하며, 존재하지 않는 하드웨어의 타임스탬프·PCI 바·ACPI 이벤트를 포함한 가짜 리눅스 부트 로그를 생성한다.
- 8자 컨텍스트와 1개 은닉층으로 학습된 char 레벨 모델이며, 생성된 부팅 로그는 실제 로그처럼 보이지만 완전히 할루시네이션이다.
- corpus_gen.py는 3MB의 가짜 dmesg를 생성하고, train.py는 모델을 학습해 int8로 양자화하며, 파이썬의 정수 연산과 부트섹터의 asm 연산을 일치시킨다.
- boot.asm은 int13h로 가중치를 로드하고 int10h로 출력하며, softclip 활성화는 cdq/idiv로, 샘플링은 타이머 기반 노이즈로 처리한다.
- 부트섹터는 코드만 포함하고 문자열·가중치·어휘 테이블은 데이터 섹터에 저장되어 있으며, 이것이 510바이트 MBR 제약 내에 추론과 BIOS 기능을 맞출 수 있는 유일한 방법이다.
- Oscar Toledo의 부트섹터 게임처럼 512바이트 안에 복잡한 프로그램을 구현하는 전통이 있으며, sectorllm은 1.2KB의 리얼 모드 어셈블리로 5층 트랜스포머를 부팅한다.
- bootgpt는 일반 스토리 생성 모델과 달리 부팅 로그 할루시네이션에만 특화된 소형 char 레벨 네트워크로, 전체 엔진을 510바이트 MBR에 맞춘 극단적 최소화 접근법을 취한다.