쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 17일 (목)까지585건
2건 · "QLoRA"조건 지우기 ×
001당일 +104YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.AI · 머신러닝 · MakazhanAlpamys/Soup · Python
YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행
Key Point로컬 저사양 GPU에서도 대규모 언어모델을 효율적으로 학습할 수 있는 실용적인 도구로, 인프라 복잡성을 제거하고 싶은 개발자와 연구진이 참고해야 한다.
핵심 요약
- Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.
- 레이어 스트리밍 기술로 8B 모델을 4GB 노트북 GPU에서 학습할 수 있으며, RTX 3050에서 119.6 tok/s, 3.32GB 피크 메모리로 동작한다.
- SSH 설정 없이 로컬 GPU에서 QLoRA로 훈련 가능하며, 배치 크기와 양자화 등을 자동으로 처리한다.
- v0.75.0 업데이트에서 검증되지 않은 설정값 거부, MLX 백엔드의 설정 호환성 개선, 검증 손실 메트릭 추가 등을 적용했다.
- 새로운 설정 키는 자동으로 거부되고, 오타 감지 기능을 통해 의도하지 않은 설정 누락을 방지한다.
- Python 3.10-3.12만 지원하며, PyPI의 soup-cli로 설치할 수 있다.
AI · 머신러닝 · unslothai/unsloth · Python
Unsloth, 로컬에서 LLM과 확산 모델 학습할 수 있는 데스크톱 앱 공개
Key Point로컬 AI 모델 실행·학습을 간편하게 만드는 도구로서 개발자가 클라우드 비용 없이 자체 서버에서 LLM을 운영할 수 있게 해주는 점이 주목받고 있다.
핵심 요약
- 로컬에서 LLM, 확산, 임베딩, 오디오 모델을 실행하고 학습할 수 있으며 Kimi K3, DeepSeek-V4, Gemma 4 등을 지원한다.
- 미세조정 시 학습 속도를 2배 빠르게 하면서 VRAM 사용량을 70% 줄일 수 있고 LoRA, QLoRA, GRPO, DPO 등 다양한 훈련 방식을 지원한다.
- Tauri 기반 데스크톱 앱으로 제공되며 Windows, macOS, Linux 등 여러 플랫폼을 지원하고 Cloudflare를 통한 원격 접근도 가능하다.