쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 3일 (화)까지3800건
2건 · "로컬LLM"조건 지우기 ×
001▲ 166 · 댓글 69125억 개 파라미터 모델을 RTX 4090으로 초당 100토큰 속도로 실행Strata는 일반 게이밍 PC에서 125억 파라미터의 대규모 AI 모델 Qwen3.8-Flash-Next를 실행할 수 있게 해주는 오픈소스 소프트웨어다.AI · 머신러닝 · Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s
Key Point소비자용 그래픽카드만으로 클라우드 서버 수준의 대규모 언어모델을 로컬에서 무료로 실행 가능해졌기 때문에, 개인 개발자와 중소 회사의 AI 접근 장벽이 크게 낮아진다.
핵심 요약
- Strata는 일반 게이밍 PC에서 125억 파라미터의 대규모 AI 모델 Qwen3.8-Flash-Next를 실행할 수 있게 해주는 오픈소스 소프트웨어다.
- RTX 5070(12GB)과 Ryzen 5 7600 조합에서 Q2_0 압축 모델 기준으로 초당 94토큰의 답변 생성 속도(32KB 문서 읽기 초당 2,650토큰)를 달성한다.
- RTX 3090(24GB) 같은 더 많은 VRAM을 가진 카드는 초당 100~140토큰 속도까지 낼 수 있다.
전체 요약 12문장 읽기 →AI · 머신러닝 · PrismML-Eng/Bonsai-demo · Shell
Key Point극도로 경량화한 27B급 언어모델이 고성능을 유지하면서 개발자 기계에서 직접 실행 가능해지면서, 모델 압축 기술의 실용적 한계를 넓혔다.
핵심 요약
- PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.
- FP16 대비 98.2% 수준의 성능을 유지하면서 원본의 약 9분의 1 크기를 달성했고, 수학은 반올림 수준의 정확도, 코딩은 기준 모델과 동일 수준이다.
- 3중 값(ternary) 가중치 기반이며 262K 토큰 콘텍스트, 비전 기능, OpenAI 방식의 도구 호출, 추론 기능을 지원한다.
전체 요약 6문장 읽기 →