쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
3건 · "커널 생성"조건 지우기 ×
001▲ 13 · 댓글 2에지 기기용 LLM 커널 생성 벤치마크 공개LLM이 서버 GPU용 커널을 생성하는 것은 이미 연구되었으나, 하드웨어가 이질적이고 소프트웨어 스택이 단편화된 에지 배포 환경에서 다양한 백엔드를 대상으로 한 커널 생성은 체계적으로 연구되지 않았다.AI · 머신러닝 · EdgeKernelBench: Unified LLM-Driven Kernel Generation for Edge Backends
Key Point에지 디바이스 배포는 서버와 달리 하드웨어가 다양하고 제약이 크기 때문에, LLM으로 생성한 커널을 실제로 잘 동작하게 하려면 새로운 평가 방식과 최적화 전략이 필요하다는 점이 중요하다.
핵심 요약
- LLM이 서버 GPU용 커널을 생성하는 것은 이미 연구되었으나, 하드웨어가 이질적이고 소프트웨어 스택이 단편화된 에지 배포 환경에서 다양한 백엔드를 대상으로 한 커널 생성은 체계적으로 연구되지 않았다.
- EdgeKernelBench는 통합 IR 배포 프레임워크와 에지 워크로드용 계층적 벤치마크를 결합하여, 재사용 가능한 계산·스케줄링·메모리 결정을 통합 IR로 캡처하고 컴파일러 인터페이스를 통해 각 백엔드에 연결한다.
- 벤치마크는 개별 연산자부터 컴팩트 모델 그래프까지 점진적으로 확대된 프로그램 범위를 포함하며, 대표적인 에지 애플리케이션 도메인을 아우른다.
전체 요약 6문장 읽기 →AI · 머신러닝 · vllm-project/vllm · Python
Key PointLLM 서빙 성능이 중요해지면서 vLLM 같은 최적화된 추론 엔진의 역할이 커지고 있으며, 광범위한 모델 지원과 하드웨어 호환성이 프로덕션 배포의 실질적 선택지를 제공한다.
핵심 요약
- vLLM은 UC Berkeley의 Sky Computing Lab에서 개발한 오픈소스 LLM 추론·서빙 엔진으로, 2000명 이상의 기여자가 참여하는 활발한 프로젝트다.
- PagedAttention을 통해 메모리를 효율적으로 관리하고 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 높은 처리량을 제공한다.
- FP8, INT4, GPTQ/AWQ, GGUF 등 다양한 양자화 방식과 FlashAttention, FlashInfer 같은 최적화 커널을 지원한다.
전체 요약 8문장 읽기 →오픈소스 · 도구 · OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network
Key PointGPU 가속 렌더링에서 NVIDIA의 독점 기술을 오픈소스로 복제한 것으로, 게임 엔진이나 그래픽 애플리케이션 개발자들이 DLSS 기술의 동작 원리를 이해하고 커스터마이징할 수 있는 길을 열었다.
핵심 요약
- NVIDIA DLSS 5 신경망 렌더링 네트워크를 Vulkan으로 재구현한 OpenDLSS-NR 공개했으며, 원본과 바이트 단위로 정확하게 일치한다.
- 빌드 310.8.0의 71개 블록 Swin/ViT 신경망과 동일하며, 텐서 코어에서 FP8로 실행되고 75개 블록 경계의 중간 데이터까지 모두 일치한다.
- WebGPU 포트도 제공하는데 브라우저에서 동작하며 텐서 코어나 FP8 없이도 동일한 바이트를 생성한다.
전체 요약 10문장 읽기 →