쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 11일 (금)까지270건
16건 · "GPU"조건 지우기 ×
001▲ 108 · 댓글 1738억 파라미터 LLM을 998달러에 학습시키다3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다.AI · 머신러닝 · Training a 3.8B LLM to 0.384 CORE for $998
38억 파라미터 LLM을 998달러에 학습시키다
Key Point개인 개발자가 수천 달러 규모로 의미 있는 규모의 언어 모델을 학습할 수 있는 현실적인 경로와 구체적 최적화 기법을 보여주며, AI 인프라 설계의 중요성을 강조하는 사례입니다.
핵심 요약
- 3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다.
- B200 GPU 8개 렌탈 비용 $998로 GPT-2 대비 훨씬 나은 성능을 구현했으며, 같은 비용대의 nanochat d32보다 의미 있게 우수하다.
- Trapezoidal LR 스케줄, Muon 옵티마이저, ClimbMix 데이터셋, FP8 학습, 1024 토큰 컨텍스트 등 다섯 가지 최적화로 858M 모델의 실패 사례에서 개선했다.
- YAML 기반 설정 프레임워크를 구축해 코드 수정 없이 옵티마이저나 데이터셋을 한 줄로 교체할 수 있게 하는 등 인프라 설계에 중점을 뒀다.
- 초기 시행착오에서 FineWeb-Edu와 높은 학습률 설정 문제를 발견했고, 학습 후반부까지 손실이 감소하는 trapezoidal 스케줄로 해결했다.
AI · 머신러닝 · alphaXiv/OpenResearch · Rust
연구 자동화 플랫폼 OpenResearch, 로컬 중심으로 에이전트 병렬 실행
Key Point연구 자동화 워크플로우를 로컬 중심으로 설계해 데이터 소유권을 보장하면서 엔터프라이즈급 병렬 실험 관리를 제공한다는 점이 기존 AI 에이전트 도구와 다릅니다.
핵심 요약
- Claude Code, Codex, OpenCode 등 모델을 활용하는 연구 에이전트를 로컬 환경에서 관리·실행하는 데스크톱 앱 및 CLI 공개.
- 각 연구 방향마다 독립적인 에이전트 세션과 격리된 git 워크트리를 할당해 병렬로 탐색하고, git 기반 실험 트리로 모든 실행을 추적.
- 로컬 SSH, Slurm, Kubernetes, Ray, Modal 등 다양한 인프라에서 실행 가능하며 코드 공개 없이 원격 GPU와 연결 가능.
- 프로젝트와 실험 결과는 기본적으로 로컬 SQLite에 저장되고, openresearch.sh 계정은 조직 관리와 관리형 컴퓨팅만 지원.
- macOS, Linux용 CLI와 데스크톱 앱 제공하며, LM Studio, Ollama 등 로컬 모델도 통합 가능.
오픈소스 · 도구 · JustVugg/colibri · C
일반 PC에서 744B 규모 대규모 언어모델 실행하는 C 엔진 공개
Key Point소유한 PC로 최대 2.8T 규모 모델을 실행할 수 있는 가능성을 보여주며, 하이퍼스케일러 하드웨어 의존성을 제거해 대규모 모델 접근성을 크게 낮춘다.
핵심 요약
- Colibrì는 순수 C와 의존성 없이 744B~2.8T 규모 MoE 모델을 일반 하드웨어에서 실행하는 추론 엔진이다.
- VRAM, RAM, 디스크를 하나의 계층 구조로 취급해 제한된 고속 메모리에서도 모델 정확도를 유지하며 속도만 조절된다.
- GLM, Kimi, DeepSeek, Qwen 등 8개 모델 계열을 지원하며 각각 하나의 C 파일로 구현되어 동일한 인터페이스(coli chat/serve/web)를 사용한다.
- 라우팅 히트 기반 LRU, I/O 최적화, 이질적 실행(CPU/GPU/메탈), 압축 상태 등 다층 최적화 기법으로 추론 속도와 비용을 개선한다.
- 모든 최적화는 실제 하드웨어에서 정량 측정한 결과를 바탕으로만 채택하며, 모델 의미론을 몰래 바꾸지 않는 것을 보장한다.
AI · 머신러닝 · AlexsJones/llmfit · Rust
당신의 하드웨어에 맞는 LLM 찾아주는 도구 llmfit
Key Point로컬에서 LLM을 실행하려는 개발자들이 자신의 하드웨어 사양에 정확히 맞는 모델을 찾기 어려운 문제를 직접 해결해주는 도구이기 때문이다.
핵심 요약
- Rust 기반 터미널 도구로, CPU·메모리·GPU·VRAM을 자동 감지해 실행 가능한 오픈소스 LLM 모델을 추천한다.
- GGUF·AWQ·GPTQ·EXL2 등 다양한 양자화 포맷을 지원하며 메모리 사용량과 토큰 속도를 예측한다.
- 인터랙티브 TUI, 웹 대시보드, REST API 엔드포인트 중 선택해 사용할 수 있다.
- 벤치마킹 결과를 PR로 기여하면 다음 릴리스에 반영되어, 같은 하드웨어 사용자들이 검증된 수치를 얻을 수 있다.
- macOS, Linux, Windows 멀티플랫폼을 지원하고 Docker 이미지도 제공한다.
보안 · Factoring RSA 260
RSA-260 인수분해 성공…GPU로 암호화 난제 깨다
Key PointRSA-1024 인수분해이 이론이 아닌 현실의 경제 규모로 접근 가능해졌으며, 고도로 전문화된 암호분석 인력 없이도 충분한 GPU 자원만으로 수행할 수 있음을 보여준다.
핵심 요약
- Cognition 연구팀이 새로운 GPU 기반 격자 체 구현으로 260자리 RSA 수를 인수분해했으며, 이는 2020년 RSA-250 이후 가장 큰 공개 기록이다.
- 기존 최고 성능 대비 10배 저렴한 비용으로 인수분해를 달성했으며, 약 4,900 GPU-일(13.5 GPU-연간)에 현재 시장가 약 40만 달러가 소요되었다.
- 범용 수체 체(GNFS) 알고리즘을 GPU에 구현하되, 기존 CADO-NFS를 크게 개선해 GPU의 메모리 시스템을 활용했다.
- RSA-1024(309자리)는 RSA-260 대비 78배 더 많은 계산이 필요하며, 인수분해 비용을 약 3천만 달러로 추정했다.
- RSA-2048(현대 표준 공개키)은 RSA-1024보다 약 10억 배 어려우며 이 연구의 영향을 거의 받지 않는다.
- 여유 GPU 자원을 활용해 부수적 비용 없이 수행되었으며, AI 모델 훈련용 클러스터의 단편화된 계산 자원을 활용했다.
오픈소스 · 도구 · HakanSeven12/OpenCADStudio · Rust
Rust로 만든 오픈소스 CAD, 데스크톱과 웹에서 DWG/DXF 지원
Key PointAutoCAD 같은 고가 CAD 소프트웨어의 오픈소스 대안으로, 기술 드로잉이 필요한 개발자와 엔지니어에게 무료로 DWG/DXF 호환성을 제공한다.
핵심 요약
- Rust 기반 크로스플랫폼 CAD 애플리케이션으로 2D 드래프팅과 3D 모델링을 모두 지원한다.
- DWG와 DXF 파일을 변환 없이 직접 읽고 쓸 수 있으며, 데스크톱과 브라우저 버전이 동일한 편집 핵심을 공유한다.
- GPU 가속 렌더링, 정밀한 2D 작도 도구(스플라인, 해치, 레이어), 3D 모델링(불린 연산, 로프트 등), 문서화 도구를 갖춘다.
- 웹 앱은 설치 없이 즉시 사용 가능하며, 데스크톱 앱은 Windows/Linux/macOS(Apple Silicon)를 지원하고 PDF 출력, 플러그인, 명령어 스크립트를 제공한다.
- STL/STEP 포맷 내보내기, OBJ/LandXML 임포트, CSV 추출 등 다양한 파일 포맷을 지원하고 21개 인터페이스 언어를 포함한다.
- 헤드리스 변환, 자동화 서버, AI 애플리케이션용 MCP 엔드포인트로 자동화 워크플로우를 제공한다.
웹 · 프론트엔드 · 27.5KB language-agnostic WebGPU syntax highlighter
27.4KB WebGPU 기반 범용 코드 구문 강조기 공개
Key Point대규모 코드 파일의 구문 강조가 필요한 개발자들에게 극도로 가볍고 빠른 대안을 제공한다.
핵심 요약
- Vercel Labs의 Shu Ding이 gpu-lexer라는 언어 불특정 구문 강조기를 개발했다.
- WebGPU 기반 작은 모델이 로컬과 파일 전체 문맥을 결합해 소스코드를 단어, 공백, 줄바꿈, 기호 등으로 분해한 뒤 각 부분의 타입을 레이블링한다.
- 학습하지 않은 언어도 주변 맥락에서 타입을 추측하도록 설계되었다.
- 번들 크기는 27.4KB로 언어별 모델이 필요한 Shiki(최대 991.5KB)나 Highlight.js(240.4KB)보다 훨씬 작다.
- 벤치마크에서 대용량 파일(5.56M 자)을 처리할 때 402ms로 다른 도구(Shiki 29.6s, Highlight.js 1.29s)보다 10배 이상 빠르다.
- 학습 데이터에 없는 파일에서 Shiki 대비 토큰 레이블 일치도는 90.35%다.
오픈소스 · 도구 · getopenscreen/openscreen · TypeScript
무료 화면 녹화로 제품 데모 만드는 오픈소스 도구 OpenScreen
Key Point화면 녹화와 편집을 한 곳에서 처리해야 하는 스타트업·콘텐츠 제작자·개발자에게 무료이면서 AI와 GPU 가속을 갖춘 선택지가 생겼다.
핵심 요약
- 원제작자 승인 아래 GitHub에서 재개발 중인 화면 녹화 소프트웨어로, 개인·상업 이용 무료이며 광고와 구독료 없다.
- GPU 가속(macOS Metal, Windows D3D11, Linux Vulkan)으로 MP4·GIF 내보내기를 지원하고, CPU 자동 폴백이 있다.
- 자동 자막, AI 편집 어시스턴트(Claude·OpenAI·Gemini·Mistral 등 지원), 줌·주석·텍스트 애니메이션 등 포스트 프로덕션 기능을 탑재했다.
- 마이크·시스템 음성 녹음, 웹캠 오버레이, 커서 커스터마이징, 타임라인 편집 기능을 제공한다.
- Windows 1903+, macOS 13+ 이상에서 설치 가능하며, 커맨드라인 인터페이스로 헤드리스 녹화·프로젝트 편집·렌더링을 지원한다.
- 12개 언어를 지원하고, 원본 저장소는 v1.5.0 이후 아카이브된 상태이다.
웹 · 프론트엔드 · A Topological Picture Book, Rendered
위상수학 그림책을 손그리기 스타일로 렌더링하다
Key Point3D 기하를 예술적 선화로 표현하는 알고리즘과 GPU 렌더링 기법이 수학 시각화에 어떻게 적용되는지 보여주는 실제 구현 사례로, 컴퓨터 그래픽스와 과학 시각화 분야의 실무자들에게 직접적 참고 자료가 됩니다.
핵심 요약
- 프란시스의 1950년대 기법을 따라 3D 위상곡면을 손으로 그은 듯한 해칭과 음영으로 렌더링하는 대화형 뷰어입니다.
- 마칭 사면체로 삼각분할된 암시 곡면을 기울기 벡터로부터 법선을 계산하며, 스트로크는 픽셀이 아닌 곡선으로 그려집니다.
- 윤곽선은 주곡률 방향의 유선을 따라 다단계 밀도로 교차 해칭되며, 톤 수준으로 어느 족(家)을 칠할지 제어합니다.
- GPU에서 은선 처리로 가려진 부분을 점선으로, 윤곽선 아래 종이 후광 효과로 뒤 선을 차단합니다.
- 해칭은 빌드 시점에 주곡률장의 유선으로 세 가지 밀도로 추적되며, 강조 부위는 빈 종이로 유지됩니다.
- 라벨은 곡면상의 점에 핀으로 고정되고 그 점이 숨을 때 희미해지는 대화형 기능을 제공합니다.
AI · 머신러닝 · ggml-org/llama.cpp · C++
로컬에서 빠르게 LLM 실행하는 llama.cpp, 고성능 추론 엔진
Key Point하드웨어 요구사항이 낮으면서도 다양한 플랫폼을 지원해 개인 PC에서도 대형 언어모델을 효율적으로 운영할 수 있다는 점이 실무에서 중요해지고 있다.
핵심 요약
- llama.cpp는 C/C++로 구현된 경량 LLM·VLM 추론 엔진으로, 별도 의존성 없이 다양한 하드웨어에서 최적화된 성능을 제공한다.
- Apple Silicon의 Metal, ARM NEON, x86의 AVX/AVX512, RISC-V의 RVV 등 각 플랫폼별 명령어세트를 지원해 효율성을 극대화했다.
- 1.5~8비트 정수 양자화를 통해 추론 속도를 높이고 메모리 사용량을 줄일 수 있으며, NVIDIA GPU(CUDA), AMD GPU(HIP), Intel NPU 등 14개 이상의 백엔드를 지원한다.
- 총 VRAM 용량을 초과하는 큰 모델도 CPU·GPU 하이브리드 방식으로 부분 가속할 수 있고, Docker·웹 UI·CLI 도구로 빠르게 시작할 수 있다.
AI · 머신러닝 · k2-fsa/OmniVoice · Python
600개 언어 지원하는 제로샷 음성 복제 TTS 'OmniVoice' 공개
Key Point지금까지 가장 광범위한 언어 커버리지를 갖춘 제로샷 TTS 모델이 공개되어 다국어 음성 합성 애플리케이션 개발에 새로운 가능성을 열고 있다.
핵심 요약
- K2-FSA가 600개 이상 언어를 지원하는 다중언어 제로샷 TTS 모델 OmniVoice를 공개했다.
- 확산 언어 모델 기반 아키텍처로 설계되어 높은 음성 품질과 빠른 추론 속도(RTF 0.025, 실시간 40배)를 제공한다.
- 참조 음성 클립(3~10초)으로 음성을 복제하거나 성별, 나이, 음역, 방언 등 속성으로 음성을 설계할 수 있다.
- 웃음소리 등 비언어 기호와 병음·음소로 발음 교정을 지원하며, 음성 복제 모드는 안정적이지만 음성 설계는 중국어·영어 데이터로만 학습되었다.
- HuggingFace Space, Google Colab, 로컬 웹 UI로 코딩 없이 테스트 가능하며, 다양한 하드웨어(NVIDIA, Apple Silicon, Intel Arc GPU)를 지원한다.
하드웨어 · 시스템 · AMD Based FreeBSD Desktop Reloaded
FreeBSD 미니PC 재구성기, GPU 개조까지
Key PointFreeBSD 사용자들이 실제 미니 PC 구성 시 직면하는 하드웨어 호환성과 공간 최적화 과제, 그리고 드라이버 및 펌웨어 설정 방법을 구체적으로 확인할 수 있습니다.
핵심 요약
- 이전 AMD 기반 FreeBSD 데스크톱을 업그레이드하면서 Silverstone SG13 미니 케이스를 선택했고, 부피는 5% 증가했으나 성능은 CPU 25%, GPU 40~60% 향상했다.
- 이전의 Ryzen 7 1700과 5700XT에서 Ryzen 7 PRO 4750GE와 7700XT 12GB로 교체했으며, DDR4와 AM4 플랫폼으로 가격 대비 성능을 중시했다.
- GPU가 케이스에 맞지 않아서 팬 커버와 확장 슬롯 브래킷을 절단해 장착했으며, 1~2mm 단위의 조정이 필요했다.
- FreeBSD에서 drm-kmod와 XLibre AMD Radeon GPU 드라이버로 모든 하드웨어가 정상 작동하며, X11 구현으로 XLibre를 선택했다.
- 펌웨어 설치 후 iwmbtfw 블루투스 펌웨어 누락으로 부팅 오류가 발생했고, 필요한 펌웨어 디렉토리가 생성되지 않은 상태였다.
AI · 머신러닝 · Speculative Decoding in vLLM on AMD GPUs
vLLM이 AMD GPU에서 추측 디코딩 지원
Key PointLLM 추론 성능 최적화를 위한 주요 기법이 AMD GPU에서 실제 구현되어, 장기 생성 작업의 처리량 개선 가능성을 보여준다.
핵심 요약
- vLLM이 추측 디코딩(speculative decoding) 기능을 AMD Instinct MI300X·MI355X GPU와 ROCm에서 구현했다.
- 추측 디코딩은 경량 드래프트 모듈이 여러 토큰을 먼저 제안하고 타겟 모델이 한 번에 검증하는 방식으로, 기존 자동회귀 디코딩보다 모델 통과 횟수를 줄인다.
- 표준 방식은 토큰 하나당 모델 실행 1회가 필요하지만, 추측 디코딩은 여러 드래프트 토큰이 검증을 통과하면 단일 모델 실행으로 여러 토큰을 커밋할 수 있다.
- Native MTP, Gemma 4 MTP, EAGLE-3, DFlash, DSpark 등 5가지 드래프팅 방식을 검토했으며, 방식·제안 길이·모델 종류·수용 동작 등에 따라 처리량 개선 효과가 달라진다.
- 드래프트 토큰이 거부되면 거부 지점 이후의 토큰들은 폐기되고 타겟 모델의 결과로 생성을 계속한다.
AI · 머신러닝 · Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
Qwen 3.8 27B, 4비트 양자화까지는 성능 유지
Key Point로컬에서 대형 언어 모델을 실행할 때 양자화 정도별로 실제 성능이 어떻게 달라지는지 벤치마크로 확인한 첫 실측 데이터라, 제한된 GPU 메모리 환경에서 모델 선택을 할 때 직접적인 참고 기준이 된다.
핵심 요약
- 원본 모델 55GB에 비해 4비트 Q4_K_M(17GB)은 Terminal-Bench 2.1 등 주요 벤치마크에서 동일한 성능을 유지한다.
- RTX 4090(24GB) 같은 소비자 GPU에서도 약 64k 토큰 컨텍스트를 남기며 실행 가능하다.
- 2비트 양자화는 조금 낮은 성능을 보이지만 10.7GB로 감소하고 실용적 수준을 유지한다.
- 1비트 양자화에서는 GPQA Diamond 벤치마크에서 무작위 추측 수준으로 성능이 붕괴되며, 긴 추론일수록 악화된다.
- 저자는 $3,000 규모의 GPU 비용을 들여 GPQA Diamond, IFBench, Terminal-Bench 2.1 세 벤치마크에서 실측했다.
- 추론 난이도(effort level)에 따라 점수가 크게 달라지며, xhigh 설정에서 1비트는 빈 답변을 반환하는 경우까지 생긴다.
웹 · 프론트엔드 · pascalorg/editor · TypeScript
웹 기반 3D 건축 설계 에디터 Pascal 공개
Key Point웹 기술로 전문적인 3D 건축 설계 도구를 구현한 사례로, React 생태계 개발자나 WebGPU 기술에 관심 있는 개발자의 참고 자료이며, AI 에이전트 연동 기능은 LLM 기반 자동화 워크플로우의 실제 적용 사례를 보여준다.
핵심 요약
- React Three Fiber와 WebGPU로 만든 3D 건축 프로젝트 에디터로, 브라우저에서 직접 3차원 공간을 설계하고 공유할 수 있다.
- Node.js 22.13 이상이면 저장소를 복제하지 않아도 CLI로 로컬 에디터를 실행할 수 있으며, 프로젝트는 ~/.pascal/data/pascal.db에 저장된다.
- Turborepo 모노레포 구조로 viewer, editor, core, nodes 등 재사용 가능한 패키지들로 분리되어 있고, npm과 GitHub에서 모두 배포된다.
- @pascal-app/core, @pascal-app/viewer, @pascal-app/editor 등 독립적인 npm 패키지로 제공되며 React 프로젝트에 통합할 수 있다.
- Zustand 기반 상태 관리와 Zundo로 50단계 실행 취소·다시 실행을 지원하며, 씬 데이터는 IndexedDB에 자동 저장된다.
- Claude Code와 Codex 에이전트용 MCP(Model Context Protocol) 플러그인을 제공해 AI 에이전트가 로컬 에디터를 원격 제어할 수 있다.
AI · 머신러닝 · Accelerating GPT-5.6 Sol Ultrafast
Cerebras와 OpenAI, GPT-5.6 Sol 울트라팩스트 모드 공개
Key Point고성능 AI 추론 기술의 실질적 진전을 보여주는 사례로, GPU 기반 시스템의 근본적 한계를 새로운 아키텍처로 극복한 점이 개발자 커뮤니티의 관심을 받고 있다.
핵심 요약
- Cerebras와 OpenAI가 새로운 서비스 계층 울트라팩스트 모드를 OpenAI API에 출시했으며, 초당 최대 750개 토큰을 생성한다.
- 울트라팩스트 모드는 Fable 5보다 11배, Opus 4.8 Fast 모드보다 5배 빠르며, 품질 저하 없이 동작한다.
- Cerebras의 Wafer-Scale Engine 아키텍처가 칩에 44GB SRAM을 탑재하여 메모리 대역폭 병목을 제거해 고속 추론을 실현한다.