Hacker NewsAI · 머신러닝

구형 기기에 LLM 돌리기, 기술 한계 뚫다

원제 I'm making LLMs work on small and old devices

106 포인트댓글 41
Key Point

오래된 저가 기기들이 LLM 추론을 실시간 속도로 실행할 수 있다는 증명으로, 엣지 AI와 오프라인 모델 배포의 현실성을 보여준다.

핵심 요약

  • 오래된 저사양 기기(TV 박스, 스마트폰, 싱글보드 컴퓨터)에 큰 언어 모델을 고속으로 실행시키는 기술을 공개했다.
  • 시아오미 TV 박스(Cortex-A55 4코어, 1.9GB RAM, 278MB/s 플래시)에서 0.8B~16B 모델을 260K부터 16B 파라미터까지 지원한다.
  • Qwen3.5-0.8B는 7.5→16.8 tok/s로 2.2배 가속, Qwen3.5-2B는 0.1→7.7 tok/s로 77배 개선, 8B 모델은 5~7 tok/s에서 실행된다.
  • 2013년형 iPad Air(Apple A7 2코어, 1GB RAM)에서 1.7B 모델이 23~25 tok/s, 4B가 10 tok/s, 8B MoE가 3.5 tok/s로 동작한다.
  • Q2_K 양자화, 1-bit 모델, 전문가 라우터, 플래시 기반 무게 스트리밍, lookup-table 커널 등으로 정확성 손실을 1% 이내로 유지하면서 성능을 극대화했다.
  • Bonsai-1.7B는 곱셈 없는 1-bit 커널과 LUT 커널으로 2.75→23.7 tok/s 개선, Moon-Beam-8B-A1B는 MoE 전문가 페이저와 캐시 인식 라우팅으로 1.87→7.2 tok/s 달성했다.
  • 물리적 한계 분석: TV는 플래시 읽기(278MB/s)가 병목(8B 이상 모델), iPad는 1.7GB 매핑 제한과 1GB 실제 메모리가 제약이다.
  • 무게 스트리밍(O_DIRECT, 병렬 읽기)으로 9B 모델 성능이 +69% 향상, 전문가 페이저는 expert 미스를 13%→2%로 줄였고 flash-bound 모델에 투기적 디코딩이 +69% 효과를 낸다.
  • 160개 실험 결과를 EXPERIMENT.md에 완전 기록했으며, llama.cpp v0.8.0 기반 패치, 양자화 도구, 웹 UI, 프로파일러 등을 공개했다.
  • 제약: 1-bit 모델도 사실 오류 있음(수성을 지구 최근 행성이라 답함), 약 700MB가 실제 메모리 한계, iPad 탈옥은 재부팅 후 초기화된다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗