쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 17일 (목)까지580건
3건 · "YAML"조건 지우기 ×
001당일 +104YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.AI · 머신러닝 · MakazhanAlpamys/Soup · Python
YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행
Key Point로컬 저사양 GPU에서도 대규모 언어모델을 효율적으로 학습할 수 있는 실용적인 도구로, 인프라 복잡성을 제거하고 싶은 개발자와 연구진이 참고해야 한다.
핵심 요약
- Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.
- 레이어 스트리밍 기술로 8B 모델을 4GB 노트북 GPU에서 학습할 수 있으며, RTX 3050에서 119.6 tok/s, 3.32GB 피크 메모리로 동작한다.
- SSH 설정 없이 로컬 GPU에서 QLoRA로 훈련 가능하며, 배치 크기와 양자화 등을 자동으로 처리한다.
- v0.75.0 업데이트에서 검증되지 않은 설정값 거부, MLX 백엔드의 설정 호환성 개선, 검증 손실 메트릭 추가 등을 적용했다.
- 새로운 설정 키는 자동으로 거부되고, 오타 감지 기능을 통해 의도하지 않은 설정 누락을 방지한다.
- Python 3.10-3.12만 지원하며, PyPI의 soup-cli로 설치할 수 있다.
AI · 머신러닝 · Charts built for Chat
dbt, 대시보드용 선언형 YAML 언어 오픈소스 공개
Key PointAI 에이전트가 데이터 리포트를 자동 생성할 때 통제 불가능한 코드 더미가 되는 문제를 해결하는 방식으로, 코드 기반 대시보드의 새로운 표준이 될 수 있다.
핵심 요약
- dbt Labs가 dbt Charts를 오픈소스로 공개했다. 이는 YAML로 작성하는 대시보드 선언형 언어로, 한 개의 감사 가능한 파일로 완전한 인터랙티브 대시보드를 정의할 수 있다.
- 기존 BI 도구는 UI 중심이라 AI 에이전트가 사용하기 어렵지만, dbt Charts는 코드 기반이므로 에이전트가 자연스럽게 작동한다.
- SQL은 조회 데이터를 선언하고, YAML로 시각화 방식을 감싼 구조로, 16개 차트 유형과 1,100개 이상의 설정 옵션을 지원한다.
- dbt 프로젝트와 깊이 통합되어, models/ 폴더 옆에 charts/를 두고 한 번의 Git 커밋으로 모델 변경과 차트 업데이트를 함께 배포할 수 있다.
- CLI는 YAML을 SVG, HTML, PNG, PDF, 터미널 등 다양한 형식으로 렌더링하며, 엄격한 YAML과 SQL 검증으로 문제를 사전에 감지한다.
- dbt Semantic Layer 지원도 계획 중이다.
AI · 머신러닝 · Training a 3.8B LLM to 0.384 CORE for $998
38억 파라미터 LLM을 998달러에 학습시키다
Key Point개인 개발자가 수천 달러 규모로 의미 있는 규모의 언어 모델을 학습할 수 있는 현실적인 경로와 구체적 최적화 기법을 보여주며, AI 인프라 설계의 중요성을 강조하는 사례입니다.
핵심 요약
- 3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다.
- B200 GPU 8개 렌탈 비용 $998로 GPT-2 대비 훨씬 나은 성능을 구현했으며, 같은 비용대의 nanochat d32보다 의미 있게 우수하다.
- Trapezoidal LR 스케줄, Muon 옵티마이저, ClimbMix 데이터셋, FP8 학습, 1024 토큰 컨텍스트 등 다섯 가지 최적화로 858M 모델의 실패 사례에서 개선했다.
- YAML 기반 설정 프레임워크를 구축해 코드 수정 없이 옵티마이저나 데이터셋을 한 줄로 교체할 수 있게 하는 등 인프라 설계에 중점을 뒀다.
- 초기 시행착오에서 FineWeb-Edu와 높은 학습률 설정 문제를 발견했고, 학습 후반부까지 손실이 감소하는 trapezoidal 스케줄로 해결했다.