쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 25일 (금)까지1027건
2건 · "모델 압축"조건 지우기 ×
001▲ 11 · 댓글 1레이어 기하학 보존하는 Transformer 압축 기법 GeoPairTransformer 레이어 간 중복성을 활용하되, 각 레이어의 고유한 활성화 기하학을 보존하는 학습 없는 압축 방식을 제안했다.AI · 머신러닝 · GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
레이어 기하학 보존하는 Transformer 압축 기법 GeoPair
Key Point모델 경량화 필요성이 증가하는 가운데, 학습 없이도 레이어 간 관계를 수학적으로 최적화하는 새로운 접근이 다양한 모델에 적용될 수 있는지 확인할 수 있다.
핵심 요약
- Transformer 레이어 간 중복성을 활용하되, 각 레이어의 고유한 활성화 기하학을 보존하는 학습 없는 압축 방식을 제안했다.
- 기존 방식처럼 인접 레이어의 가중치를 강제로 같은 기저에 공유하거나 휴리스틱으로 통계를 합치는 대신, 구조적으로 호환되는 투영을 식별하고 각 레이어의 캘리브레이션 기하학을 유지하는 공유 표현을 학습한다.
- 구조화된 스파시티와 함께 사용하면 기능 정확도 손실 없이 효율적인 가중치 분해를 달성한다.
- 다양한 아키텍처, 규모, 모달리티에서 독립적 가중치 분해와 기존 페어와이즈 분해를 능가하며 최고 수준의 성능을 보인다.
- 휴리스틱 기반 전략을 최적화 중심 파이프라인으로 대체해 이론적 근거를 갖춘 확장 가능한 Transformer 압축의 기초를 마련했다.
AI · 머신러닝 · PrismML-Eng/Bonsai-demo · Shell
무게 9분의 1, 성능 98% 유지하는 경량 언어모델 Bonsai 2 공개
Key Point극도로 경량화한 27B급 언어모델이 고성능을 유지하면서 개발자 기계에서 직접 실행 가능해지면서, 모델 압축 기술의 실용적 한계를 넓혔다.
핵심 요약
- PrismML이 극도로 압축한 언어모델 Bonsai 2 27B를 공개했으며, 5.9GB 크기로 노트북이나 단일 GPU에서 구동된다.
- FP16 대비 98.2% 수준의 성능을 유지하면서 원본의 약 9분의 1 크기를 달성했고, 수학은 반올림 수준의 정확도, 코딩은 기준 모델과 동일 수준이다.
- 3중 값(ternary) 가중치 기반이며 262K 토큰 콘텍스트, 비전 기능, OpenAI 방식의 도구 호출, 추론 기능을 지원한다.
- 가중치당 1.75비트 크기의 PTQ1_0 포장과 프롬프트 처리 속도가 빠른 PQ2_0 포장을 제공하며, 기본값은 후자다.
- Mac(Metal), Linux/Windows(CUDA/Vulkan/ROCm), CPU에서 로컬 실행 가능하고 두 개 명령으로 설정 완료된다.
- 이전 버전인 Bonsai(1비트)와 Ternary-Bonsai도 27B, 8B, 4B, 1.7B 크기로 계속 제공된다.