Hacker NewsAI · 머신러닝

개인 컴퓨터에서 돌리는 1450억 파라미터 모델 Edge0-145B 공개

원제 Edge0-145B: Frontier AI Capabilities on Your Own Computer

171 포인트댓글 40
Key Point

개인 컴퓨터에서 클라우드 모델 수준의 복잡한 작업(코딩, 3D 모델링, 비디오 제작)을 요금 없이 수행 가능해지면서, 온디바이스 AI의 실용성이 크게 높아졌다.

핵심 요약

  • Edge0가 145B 파라미터의 Edge0-145B와 120B 모델을 오픈소스로 공개했으며, 통합 추론 프레임워크와 배포 도구도 함께 제공한다.
  • 호환 가능한 노트북에서 피크 메모리 29GB, 토큰 생성 속도 80+tokens/s로 동작하며 기존 대규모 모델 대비 약 40% 메모리로 동등한 성능을 낸다.
  • Edge0-145B는 DeepSWE 1.1에서 64.6점(Qwen3.8-Flash-Next 58.7, DeepSeek-V4-Flash 54.4), Terminal-Bench 2.1에서 86.52점(Qwen 83.3, DeepSeek 82.7)으로 코딩·추론·명령 이행 능력이 클라우드 모델 수준이다.
  • 모델 아키텍처는 64개 전문가(expert)가 대규모 행렬을 공유해 저장·이동량을 줄였고, 처음부터 온디바이스 실행을 염두에 두고 학습했으며, GPU·시스템메모리·SSD를 파이프라인으로 연결해 메모리 읽기와 연산을 겹친다.
  • 비디오 제작(Tesla Roadster 영상 1시간 완성), 3D 모델링(블렌더에서 맨해튼 도시신 1시간, 클라우드 모델은 $150+ 요금), 게임 개발, 드론 제어 코드 생성, PCB 설계 등 복잡한 에이전트 작업을 로컬에서 수행했다.
  • 클라우드 모델 요금 없음, 민감 데이터 로컬 보관, 오프라인 작동, 반응성 유지 등 4가지 제약을 해결했다.
  • Edge0 포트폴리오는 지난 1년간 4개 모델 계열 200개 모델을 출시했고, 95% 이상의 주요 칩 플랫폼(Qualcomm, NVIDIA 등)을 지원하며 5백만 개 이상의 프로덕션 장비에 배포돼 있다.
  • 오픈소스 모델은 3개월 내 1,500만 회 다운로드를 기록했고, Edge0-35B는 지난 9월 출시 첫날 해외 커뮤니티에서 120만 조회수를 달성했다.
  • 클라우드와 온디바이스 AI의 역할 분담이 '클라우드 우선'에서 '일상 작업 로컬, 복잡한 작업은 클라우드'를 거쳐 이제 '온디바이스 우선, 필요시 클라우드'로 진화하고 있다.
  • 모델 가중치는 허깅페이스에서, 추론 프레임워크는 GitHub에서 공개되며, Edge0 앱으로 환경 설정 없이 오프라인으로 사용 가능하다.
  • 하드웨어 제약(저사양 기기, 실시간 정보 필요)이 있는 경우는 여전히 클라우드 모델이 필요하지만, 개인용 데스크톱·노트북에서는 로컬 추론을 선택할 수 있게 됐다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗