YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행

핵심 요약

• Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.
• 레이어 스트리밍 기술로 8B 모델을 4GB 노트북 GPU에서 학습할 수 있으며, RTX 3050에서 119.6 tok/s, 3.32GB 피크 메모리로 동작한다.
• SSH 설정 없이 로컬 GPU에서 QLoRA로 훈련 가능하며, 배치 크기와 양자화 등을 자동으로 처리한다.
• v0.75.0 업데이트에서 검증되지 않은 설정값 거부, MLX 백엔드의 설정 호환성 개선, 검증 손실 메트릭 추가 등을 적용했다.
• 새로운 설정 키는 자동으로 거부되고, 오타 감지 기능을 통해 의도하지 않은 설정 누락을 방지한다.
• Python 3.10-3.12만 지원하며, PyPI의 soup-cli로 설치할 수 있다.