쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 19일 (토)까지674건
2건 · "경량모델"조건 지우기 ×
001당일 +213무게 9분의 1, 성능 98% 유지하는 경량 언어모델 Bonsai 2 공개PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.AI · 머신러닝 · PrismML-Eng/Bonsai-demo · Shell
무게 9분의 1, 성능 98% 유지하는 경량 언어모델 Bonsai 2 공개
Key Point극도로 경량화한 27B급 언어모델이 고성능을 유지하면서 개발자 기계에서 직접 실행 가능해지면서, 모델 압축 기술의 실용적 한계를 넓혔다.
핵심 요약
- PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.
- FP16 대비 98.2% 수준의 성능을 유지하면서 원본의 약 9분의 1 크기를 달성했고, 수학은 반올림 수준의 정확도, 코딩은 기준 모델과 동일 수준이다.
- 3중 값(ternary) 가중치 기반이며 262K 토큰 콘텍스트, 비전 기능, OpenAI 방식의 도구 호출, 추론 기능을 지원한다.
- 가중치당 1.75비트 크기의 PTQ1_0 포장과 프롬프트 처리 속도가 빠른 PQ2_0 포장을 제공하며, 기본값은 후자다.
- Mac(Metal), Linux/Windows(CUDA/Vulkan/ROCm), CPU에서 로컬 실행 가능하고 두 개 명령으로 설정 완료된다.
- 이전 버전인 Bonsai(1비트)와 Ternary-Bonsai도 27B, 8B, 4B, 1.7B 크기로 계속 제공된다.
오픈소스 · 도구 · Reverse-engineered Jev-like model
Jev처럼 작동하는 오픈소스 선택 모델 공개
Key Point상용 모델의 폐쇄된 설계를 재현한 오픈소스 구현으로, 선택형 분류 작업에서 경량 모델의 새로운 가능성을 보여준다.
핵심 요약
- TypeSafe의 상용 모델 Jev를 역엔지니어링한 오픈소스 모델을 깃허브에 공개했다.
- 텍스트와 N개의 선택지를 입력받아 각 선택지별 확률을 한 번에 반환하는 방식으로, 단어 단위 생성이 아닌 원샷(one-pass) 추론을 수행한다.
- 바이트 임베딩 기본 인코더와 선택적 허깅페이스 사전학습 인코더를 지원하며, CPU·MPS·CUDA에서 학습 가능하다.
- 합성 데이터에서 98% 정확도를 달성했고, Wikispeedia 데이터에서 Qwen2.5-0.5B 인코더로 테스트했다.
- JSON 형식 데이터로 학습하며, 설치 및 실행을 위한 quickstart 명령어와 Doom·체스 게임 예제를 제공한다.