쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 6일 (금)까지4095건
11건 · "패킹"조건 지우기 ×
001▲ 17 · 댓글 1추론 속도 7배 끌어올리는 비동기 투기형 디코딩 D3D기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다.AI · 머신러닝 · D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
Key PointLLM 추론 병목 해결과 실시간 AI 서비스 성능 향상에 직결되는 새로운 분산 처리 기법으로, 기존 투기형 디코딩 방식의 근본적인 대기 문제를 제거했습니다.
핵심 요약
- 기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다.
- D3D는 타겟 모델의 숨겨진 상태 없이 독립적으로 작동하는 확산 드래프터로, 블록 단위 노이징 제거와 보조 자기회귀 감독을 결합해 장기 수용 프리픽스를 달성한다.
- 이러한 독립성으로 D3D는 검증 중 후속 블록을 병렬로 드래프팅할 수 있어 비동기 투기형 디코딩을 가능하게 한다.
전체 요약 6문장 읽기 →AI · 머신러닝 · FareedKhan-dev/kimi-k3-in-c · C
Key Point거대 언어 모델을 GPU 없이 평범한 노트북에서 돌릴 수 있는 방법을 보여주는 사례로, CPU 기반 추론의 실용적 한계를 재정의한다.
핵심 요약
- 중국의 Kimi K3 모델(278조 파라미터)을 C99로 순수 CPU 추론하는 프로젝트다.
- 1.56TB 체크포인트를 디스크에서 스트리밍하면서 최소 8.24GB 메모리로 작동한다.
- BLAS, 프레임워크, GPU 없이 176KB 엔진만으로 구현했으며, 포괄적인 테스트와 참고 구현이 함께 제공된다.
전체 요약 12문장 읽기 →AI · 머신러닝 · FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
Key PointTransformer 학습의 가장 비용이 높은 부분인 Attention 연산을 최신 Blackwell GPU의 저정밀도 연산으로 1.1~1.4배 빠르게 만드는 기법이 개발되어, 대규모 모델 학습 효율에 직접적인 영향을 미칠 수 있다.
핵심 요약
- NVIDIA Blackwell GPU의 고처리량 저정밀도 행렬 곱셈을 Attention 연산에 활용하기 위해 FLAMIA라는 attention 커널 패밀리를 제시했다.
- 양자화 오버헤드, 공유 스케일을 통한 인과 정보 누출, 정방향과 역방향 계산 간 수치 불일치 등 세 가지 주요 문제를 해결했다.
- MXFP8과 혼합 NVFP4/FP8 학습 경로를 지원하며, 토큰-블록 스케일링으로 양자화된 피연산자를 행렬 방향 간에 재사용한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
Key Point장영상 이해가 VLM의 메모리 병목이 되는 시점에 학습 없이 적용 가능한 고정 메모리 솔루션이 나왔고, 기존 모델 대비 10% 이상 성능 향상을 보였다.
핵심 요약
- 비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다.
- 기존의 토큰 감소나 핵심 프레임 선택 방식도 O(n) 증가 추세를 해결하지 못한다.
- FramePack-U는 학습 없이 임의로 긴 영상을 고정 크기의 시각 표현으로 압축하는 훈련-자유 프레임 패킹 프레임워크다.
전체 요약 9문장 읽기 →하드웨어 · 시스템 · ESP32S3 cluster running 1.58-bit (BitNet) Language model
Key Point마이크로컨트롤러 클러스터에서 극저단계 양자화 모델을 실행하는 구체적인 분산 시스템 설계와 구현 사례를 보여줌으로써, 임베디드 환경에서 LLM 배포의 가능성을 확장한다.
핵심 요약
- 7개의 ESP32S3 마이크로컨트롤러를 클러스터로 연결해 0.5B 규모 1.58비트 BitNet 언어모델을 분산 실행하는 프로젝트다.
- 마스터 노드에서 BPE 토크나이저와 임베딩을 처리하고, 6개의 컴퓨트 노드에서 24개의 트랜스포머 블록을 4개씩 나눠 실행한다.
- SPI 데이지-체인 방식으로 노드 간 고속 통신하며, 마스터-노드 1-노드 2...노드 6-마스터 순환 파이프라인 구조로 동작한다.
전체 요약 7문장 읽기 →웹 · 프론트엔드 · remorses/gpuix · Rust
Key PointElectron 기반 데스크톱 앱의 메모리 비효율을 해결하면서도 React 생태계의 개발 경험을 그대로 쓸 수 있는 새로운 방식이 공개되었다.
핵심 요약
- GPUIX는 React와 Solid를 Zed의 GPUI 프레임워크에 연결하여 Electron 없이 네이티브 데스크톱 앱을 개발할 수 있게 한다.
- Metal, DirectX, Vulkan으로 렌더링되며 DOM이 아닌 GPUI를 통해 레이아웃, 텍스트, 입력을 처리한다.
- Bun 런타임으로 개발하면 `bun --hot`으로 코드 저장 시 같은 창에서 React가 다시 마운트되는 핫 리로드를 지원한다.
전체 요약 12문장 읽기 →하드웨어 · 시스템 · The Lost Atomic Update on Loongson CPU
Key PointLoongArch 시스템에서 프로그램이 무한 루프에 빠지거나 메모리 보호 위반이 발생한다면, CPU 하드웨어 에러가 원인일 수 있으며 펌웨어 업데이트로 해결 가능합니다.
핵심 요약
- 2026년 2월 Debian의 normaliz 패킹 중 원자 연산이 일부 값을 누적하지 못해 무한 루프에 빠지는 현상 발생.
- 6개월 간 원인을 파악하지 못하다 8월 AI의 도움으로 glibc의 memcpy 벡터화 구현 호출 시 문제 발생 확인.
- LA664 코어의 원자 명령어(amadd, amcas, ammax 등)가 특정 조건에서 원자성을 잃는 하드웨어 에러라 판명.
전체 요약 13문장 읽기 →기타 · Jev-Leftpad
Key Point기본 JavaScript 함수로 간단히 처리할 수 있는 작업을 의도적으로 LLM API 호출로 구현한 개발자의 창의적인 실험을 보여줍니다. oss
핵심 요약
- jev-leftpad는 Jev 언어 모델을 호출해 문자열 앞에 공백을 채우는 JavaScript 패키지입니다.
- padStart() 내장 함수 대신 TypeSafe API를 통해 LLM에 요청해 0~10개 공백 추가를 선택하게 합니다.
- Node.js 20 이상 필요하며 TYPESAFE_API_KEY 환경변수 설정이 필요합니다.
전체 요약 5문장 읽기 →보안 · ZCode, the GLM coding agent, silently uploads your Git history
Key Point폐쇄형 AI 도구를 사용하는 개발자가 알지 못한 채 자신의 전체 코드 히스토리와 민감한 정보를 중국 서버로 보내고 있을 수 있으며, 사용자 설정으로도 막을 수 없는 구조이기 때문이다.
핵심 요약
- Z.ai의 AI 코딩 앱 ZCode가 사용자의 전체 워크스페이스 Git 히스토리, LFS 캐시, 설정을 암호화해 알리바바 클라우드에 자동 업로드한다.
- 사용자의 Git 저장소 전체 이력(삭제된 커밋, 미푸시 브랜치, API 키)이 패킹되며 전체 업로드 데이터의 86.6%를 차지한다.
- 사용자 인터페이스의 데이터 수집 옵션들은 실제로는 암호화와 업로드를 멈추지 못하고, 호스트 수준의 사이드카가 무조건 실행된다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Breaking the 1.58-bit Barrier for Ternary LLMs
Key Point3진 LLM의 저장 용량을 근본적으로 줄이는 압축 기법으로, 엣지 기기부터 서버까지 추론 성능을 즉시 개선할 수 있다.
핵심 요약
- 3진 LLM의 가중치는 {-1, 0, +1} 세 개 심볼로만 저장되며, 기존 5진-트릿 패킹 방식은 가중치당 1.625비트가 소요된다.
- 29개 3진 LLM 모델을 분석하면 영(0)이 최대 51.5%를 차지해 심볼이 균등하지 않게 분포한다.
- BITCOS 레이아웃은 영(0) 밀도에 따라 적응적으로 압축하며, 가중치당 (2 - z)비트를 사용한다.
전체 요약 5문장 읽기 →기타 · Show HN: Capsule – Single-file web apps that save their data into SQLite
Key Point클라우드와 서버 없이 단일 파일로 앱을 만들고 공유하는 방식이 데스크톱 앱 배포의 기존 복잡성을 크게 단순화한다. web
핵심 요약
- Capsule은 HTML UI, 데이터, 자산을 모두 단일 .capsule 파일로 패킹해 앱을 문서처럼 공유할 수 있다.
- 앱의 모든 데이터는 로컬 SQLite에 저장되며 클라우드 계정이나 서버가 전혀 필요하지 않다.
- 프롬프트만으로 AI가 완성된 단일 파일 앱을 생성하고, 실시간으로 기능을 수정할 수 있다.
전체 요약 5문장 읽기 →