쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 17일 (목)까지585건
2건 · "파인튜닝"조건 지우기 ×
001당일 +104YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.AI · 머신러닝 · MakazhanAlpamys/Soup · Python
YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행
Key Point로컬 저사양 GPU에서도 대규모 언어모델을 효율적으로 학습할 수 있는 실용적인 도구로, 인프라 복잡성을 제거하고 싶은 개발자와 연구진이 참고해야 한다.
핵심 요약
- Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.
- 레이어 스트리밍 기술로 8B 모델을 4GB 노트북 GPU에서 학습할 수 있으며, RTX 3050에서 119.6 tok/s, 3.32GB 피크 메모리로 동작한다.
- SSH 설정 없이 로컬 GPU에서 QLoRA로 훈련 가능하며, 배치 크기와 양자화 등을 자동으로 처리한다.
- v0.75.0 업데이트에서 검증되지 않은 설정값 거부, MLX 백엔드의 설정 호환성 개선, 검증 손실 메트릭 추가 등을 적용했다.
- 새로운 설정 키는 자동으로 거부되고, 오타 감지 기능을 통해 의도하지 않은 설정 누락을 방지한다.
- Python 3.10-3.12만 지원하며, PyPI의 soup-cli로 설치할 수 있다.
하드웨어 · 시스템 · Thelio Mira AI Linux Workstation: 192 GB GPU Memory
System76, 192GB GPU 메모리 AI 워크스테이션 'Thelio Mira' 출시
Key Point로컬에서 대규모 AI 모델을 학습할 수 있는 고성능 GPU 워크스테이션이 등장했으며, 클라우드 비용 없이 자체 하드웨어에서 AI 개발을 완성할 수 있다는 점이 중요하다.
핵심 요약
- System76이 로컬 AI 개발용 GPU 중심 워크스테이션 Thelio Mira를 출시했다.
- 16코어 AMD Ryzen 9000 시리즈 CPU, 192GB DDR5 RAM, 듀얼 NVIDIA RTX Pro 6000 GPU로 총 192GB GPU 메모리를 지원한다.
- 액체 냉각, 빠른 내부 접근성, 미국 덴버에서 제조되는 오픈소스 하드웨어이다.
- Pop!_OS 24.04 LTS 또는 우분투 24.04/26.04 LTS 운영체제를 제공하며, AI 학습·파인튜닝·이미지 생성·추론 작업에 최적화되었다.
- PCIe Gen5 NVMe 스토리지, WiFi 7, 2개의 5GbE LAN 포트를 탑재했다.
- 1년, 2년, 3년 기간의 제한 보증을 선택할 수 있다.