쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
5건 · "분산 처리"조건 지우기 ×
001▲ 121 · 댓글 64GLM-5.3을 두 DGX 스테이션에서 vLLM으로 607.8 토큰/초 처리GLM-5.3 NVFP4는 753억 개 파라미터(토큰당 400억 활성화)의 양자화된 MoE 모델로, 약 464GB의 GPU 메모리가 필요해 단일 GB300 GPU의 252GB HBM3e를 초과한다.AI · 머신러닝 · Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

Key Point대규모 언어 모델을 여러 머신에 걸쳐 서빙하는 실전 구현 예시로, vLLM의 분산 배포와 성능 최적화 기법을 상세히 보여준다.
핵심 요약
- GLM-5.3 NVFP4는 753억 개 파라미터(토큰당 400억 활성화)의 양자화된 MoE 모델로, 약 464GB의 GPU 메모리가 필요해 단일 GB300 GPU의 252GB HBM3e를 초과한다.
- ConnectX-8 RDMA로 연결된 두 NVIDIA DGX 스테이션이 텐서 병렬화(TP=2)를 통해 하나의 OpenAI 호환 엔드포인트로 모델을 서빙하며, 각 GPU가 대략 절반의 가중치를 보유하고 계산한다.
- vLLM은 멀티토큰 예측, FP8 KV-캐시 저장, 프리픽스 캐싱을 활성화해 동시 부하에서 처리량을 최대화한다.
전체 요약 11문장 읽기 → 002새 버전Transformers v5.22.2 패치 공개Hugging Face의 Transformers 라이브러리 v5.22.2 패치 버전이 공개됐다.AI · 머신러닝 · huggingface/transformers@v5.22.2

Key PointTransformers는 NLP 모델 개발의 필수 라이브러리로, 보안 취약점 개선과 분산 처리 버그 수정이 실제 모델 학습 환경에 영향을 미친다.
핵심 요약
- Hugging Face의 Transformers 라이브러리 v5.22.2 패치 버전이 공개됐다.
- 보안과 분산 처리 관련 수정사항이 포함된 중간 패치 릴리스다.
- NCCL 분산 학습에서 device_id 설정을 개선했다.
전체 요약 4문장 읽기 → 003▲ 18 · 댓글 2추론 속도 7배 끌어올리는 비동기 투기형 디코딩 D3D기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다.AI · 머신러닝 · D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

Key PointLLM 추론 병목 해결과 실시간 AI 서비스 성능 향상에 직결되는 새로운 분산 처리 기법으로, 기존 투기형 디코딩 방식의 근본적인 대기 문제를 제거했습니다.
핵심 요약
- 기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다.
- D3D는 타겟 모델의 숨겨진 상태 없이 독립적으로 작동하는 확산 드래프터로, 블록 단위 노이징 제거와 보조 자기회귀 감독을 결합해 장기 수용 프리픽스를 달성한다.
- 이러한 독립성으로 D3D는 검증 중 후속 블록을 병렬로 드래프팅할 수 있어 비동기 투기형 디코딩을 가능하게 한다.
전체 요약 6문장 읽기 → 004▲ 128 · 댓글 64Neural Amp Modeler 돌리는 오픈소스 기타 이펙터 페달Waveshare ESP32-S3-Touch-AMOLED-2.06 보드 위에 구축한 스탠드얼론 기타 앰프이자 이펙터 페달 CoyoPedal을 공개했다.하드웨어 · 시스템 · Guitar amp and effects pedal built on the Waveshare ESP32-S3-Touch-AMOLED-2.06

Key PointESP32 임베디드 기기에서 Neural Amp Modeler 같은 복잡한 ML 모델을 실시간 처리하고 웹에서도 재현하는 기술 구현이 핵심인데, 풀스택 오픈소스 프로젝트의 완성도와 확장 가능성을 보여주는 사례다.
핵심 요약
- Waveshare ESP32-S3-Touch-AMOLED-2.06 보드 위에 구축한 스탠드얼론 기타 앰프이자 이펙터 페달 CoyoPedal을 공개했다.
- ESP32-S3에서 Neural Amp Modeler A2 캡처를 실시간 처리하고, USB 호스트로 클래스 준수 오디오 인터페이스를 구동하며, TSX로 작성하고 C++로 컴파일한 터치스크린 UI를 갖춘다.
- 동일 펌웨어가 화면이 없는 bare ESP32-S3에서도 구동되며, BOOT 버튼이 풋스위치로 작동한다.
전체 요약 15문장 읽기 → 005▲ 47 · 댓글 3기초 모델 학습 데이터 준비용 분산 처리 엔진 RayOrch파운데이션 모델 학습을 위해 이질적인 문서·동영상을 정형 데이터로 변환하는 확장 가능한 파이프라인이 필요하다.AI · 머신러닝 · RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

Key Point파운데이션 모델의 대규모 학습 데이터 파이프라인에서 기존 시스템의 계보 추적 한계를 제거해 GPU 활용률과 처리 속도를 크게 향상시키는 실질적 해결책이다.
핵심 요약
- 파운데이션 모델 학습을 위해 이질적인 문서·동영상을 정형 데이터로 변환하는 확장 가능한 파이프라인이 필요하다.
- 각 부모 항목이 자식으로 확장될 때 자식의 개수가 들쭉날쭉하고, GPU가 부모 관계와 자식 순서·처리 상태를 유지하면서 배치 처리해야 한다.
- 기존 시스템은 병렬 처리를 숨기거나 평탄한 레코드를 노출해 애플리케이션이 계보와 재그룹화를 직접 관리하도록 강제한다.
전체 요약 9문장 읽기 →