구형 기기에 LLM 돌리기, 기술 한계 뚫다
원제 I'm making LLMs work on small and old devices
106 포인트댓글 41
Key Point
오래된 저가 기기들이 LLM 추론을 실시간 속도로 실행할 수 있다는 증명으로, 엣지 AI와 오프라인 모델 배포의 현실성을 보여준다.
핵심 요약
- 오래된 저사양 기기(TV 박스, 스마트폰, 싱글보드 컴퓨터)에 큰 언어 모델을 고속으로 실행시키는 기술을 공개했다.
- 시아오미 TV 박스(Cortex-A55 4코어, 1.9GB RAM, 278MB/s 플래시)에서 0.8B~16B 모델을 260K부터 16B 파라미터까지 지원한다.
- Qwen3.5-0.8B는 7.5→16.8 tok/s로 2.2배 가속, Qwen3.5-2B는 0.1→7.7 tok/s로 77배 개선, 8B 모델은 5~7 tok/s에서 실행된다.
- 2013년형 iPad Air(Apple A7 2코어, 1GB RAM)에서 1.7B 모델이 23~25 tok/s, 4B가 10 tok/s, 8B MoE가 3.5 tok/s로 동작한다.
- Q2_K 양자화, 1-bit 모델, 전문가 라우터, 플래시 기반 무게 스트리밍, lookup-table 커널 등으로 정확성 손실을 1% 이내로 유지하면서 성능을 극대화했다.
- Bonsai-1.7B는 곱셈 없는 1-bit 커널과 LUT 커널으로 2.75→23.7 tok/s 개선, Moon-Beam-8B-A1B는 MoE 전문가 페이저와 캐시 인식 라우팅으로 1.87→7.2 tok/s 달성했다.
- 물리적 한계 분석: TV는 플래시 읽기(278MB/s)가 병목(8B 이상 모델), iPad는 1.7GB 매핑 제한과 1GB 실제 메모리가 제약이다.
- 무게 스트리밍(O_DIRECT, 병렬 읽기)으로 9B 모델 성능이 +69% 향상, 전문가 페이저는 expert 미스를 13%→2%로 줄였고 flash-bound 모델에 투기적 디코딩이 +69% 효과를 낸다.
- 160개 실험 결과를 EXPERIMENT.md에 완전 기록했으며, llama.cpp v0.8.0 기반 패치, 양자화 도구, 웹 UI, 프로파일러 등을 공개했다.
- 제약: 1-bit 모델도 사실 오류 있음(수성을 지구 최근 행성이라 답함), 약 700MB가 실제 메모리 한계, iPad 탈옥은 재부팅 후 초기화된다.