쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 30일 (수)까지1314건
2건 · "행렬 곱셈"조건 지우기 ×
001▲ 14 · 댓글 1행렬 곱셈 대신 저비용 연산 쓰는 트랜스포머 구조 제시기존 고속 행렬 곱셈 알고리즘과 다르게, 트랜스포머의 학습된 투영(projection)이 더 저렴한 대체 연산을 쓸 수 있는지 탐구했다.AI · 머신러닝 · Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
행렬 곱셈 대신 저비용 연산 쓰는 트랜스포머 구조 제시
Key Point행렬 곱셈 최적화가 아닌 완전히 다른 연산으로 대체할 때 처리량 증가 vs. 성능 저하 트레이드오프가 어떻게 나타나는지 보여주는 실험 결과이다.
핵심 요약
- 기존 고속 행렬 곱셈 알고리즘과 다르게, 트랜스포머의 학습된 투영(projection)이 더 저렴한 대체 연산을 쓸 수 있는지 탐구했다.
- 일반적인 행렬 곱셈을 희소한 상호작용 테이블로 대체하는 결합대수(associative algebra) 구성을 기반으로, 물리적 블록 크기가 고정되면 행렬 차원에서 이차 산술복잡도를 갖는 계층군을 구축했다.
- 이 구성은 Alder-Strassen 경계에 의해 쌍선형 순위(bilinear rank)에서 증명 가능하게 최적이며, 인과 마스킹(causal masking)과 KV 캐시 디코딩과 호환되는 행 타입의 직사각형 투영으로 실현할 수 있다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Breaking the 1.58-bit Barrier for Ternary LLMs
3진 LLM 압축의 1.585비트 벽을 깬다
Key Point3진 LLM의 저장 용량을 근본적으로 줄이는 압축 기법으로, 엣지 기기부터 서버까지 추론 성능을 즉시 개선할 수 있다.
핵심 요약
- 3진 LLM의 가중치는 {-1, 0, +1} 세 개 심볼로만 저장되며, 기존 5진-트릿 패킹 방식은 가중치당 1.625비트가 소요된다.
- 29개 3진 LLM 모델을 분석하면 영(0)이 최대 51.5%를 차지해 심볼이 균등하지 않게 분포한다.
- BITCOS 레이아웃은 영(0) 밀도에 따라 적응적으로 압축하며, 가중치당 (2 - z)비트를 사용한다.
전체 요약 5문장 읽기 →