쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 4일 (수)까지 3898건
5건 · "분산학습"조건 지우기 ×
001 21:11 당일 +104 구글, PyTorch를 TPU에서 실행하는 백엔드 공개 Google이 PyTorch 모델을 Google의 TPU(Tensor Processing Unit) 장치에서 실행할 수 있게 하는 torch_tpu 백엔드를 오픈소스로 공개했다. AI · 머신러닝 · google-pytorch/torch_tpu · C++
Key Point PyTorch 기반 프로젝트를 Google TPU에서 GPU 대신 더 저렴하게 실행할 수 있는 경로가 생겼고, ML 엔지니어와 연구자들이 다양한 가속 옵션을 선택할 수 있게 됐다.
핵심 요약
Google이 PyTorch 모델을 Google의 TPU(Tensor Processing Unit) 장치에서 실행할 수 있게 하는 torch_tpu 백엔드를 오픈소스로 공개했다. PyTorch 연산을 위한 ATen 커널 구현, XLA 계산 최적화를 위한 컴파일 캐시, 데이터 병렬화와 텐서 병렬화를 지원하는 분산 학습 기능을 포함한다. Llama, Qwen, ResNet, DLRM, minGPT, UNet 등 다양한 모델의 예제와 torch.compile()을 통한 그래프 모드 실행 통합, 디버깅 및 벤치마킹 유틸리티를 제공한다. 전체 요약 7문장 읽기 → 002 03:11 새 버전 Transformers 5.20.2 패치: 멀티모달 모델 입력 타입 버그 수정 Transformers 5.20.2 패치 버전이 릴리스됐다. AI · 머신러닝 · huggingface/transformers@v5.20.2
Key Point 멀티모달 모델과 대규모 분산학습 환경에서 발생하는 핵심 버그들이 수정되어 Transformers 라이브러리를 사용하는 개발자라면 즉시 업그레이드를 고려해야 한다.
핵심 요약
Transformers 5.20.2 패치 버전이 릴리스됐다. prepare_inputs_for_generation 함수에서 입력값이 원래 타입을 잃어 멀티모달 모델에 문제를 일으키던 버그를 수정했다. 또한 입력 딕셔너리 캐스팅 문제를 해결했으며, bfloat16과 전문가 병렬처리(expert parallelism)에서 ep_size < fsdp_size 조건일 때 제로 그래디언트 문제를 수정했다. 전체 요약 4문장 읽기 → 003 03:12 새 버전 트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원 메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. AI · 머신러닝 · huggingface/transformers@v5.20.0
Key Point 메타·알렉스 알파·바이두 등 주요 기업의 첨단 멀티모달·OCR·오디오 모델 6개가 한 번에 지원되고, 분산 학습·추론·양자화 내보내기 등 프로덕션 기능이 대폭 개선되어 트랜스포머 사용자에게 즉시 영향을 미친다.
핵심 요약
메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. InclusionAI의 Ling 3.0 Flash는 5개 KDA 레이어와 1개 MLA 레이어를 결합한 혼합 전문가 모델로 BailingHybridForCausalLM으로 네이티브 지원되어 trust_remote_code=True 없이 로드된다. 알렉스 알파의 Kolibri 1은 독일어·영어 중심 추론 모델로, 50개 레이어가 384명의 전문가 중 6명에게 각 토큰을 시그모이드 라우팅으로 라우팅하고 슬라이딩 윈도우와 전체 어텐션 레이어를 번갈아 사용한다. 전체 요약 13문장 읽기 → 004 18:33 새 버전 Transformers 5.19.0, 멀티모달 임베딩과 분산학습 기능 강화 Gemma 2의 멀티모달 임베딩 모델 EmbeddingGemma2를 새로 추가했으며, 텍스트·이미지·오디오·비디오를 768차원 벡터 공간에 인코딩하고 512/256/128차원으로 축소 가능하다. AI · 머신러닝 · huggingface/transformers@v5.19.0
Key Point 멀티모달 모델 지원 확대와 분산학습 병렬화 개선으로 LLM 추론 효율이 향상되며, 주요 API 변경으로 기존 코드 마이그레이션이 필요해진다.
핵심 요약
Gemma 2의 멀티모달 임베딩 모델 EmbeddingGemma2를 새로 추가했으며, 텍스트·이미지·오디오·비디오를 768차원 벡터 공간에 인코딩하고 512/256/128차원으로 축소 가능하다. MoE(Mixture of Experts) 모델이 output_router_logits=True일 때 라우터 로짓을 반환하도록 변경되었으며, 기존 코드는 새 출력 클래스에서 로짓을 읽어야 한다. OWLv2 이미지 쿼리 선택 방식이 객체 신뢰도 점수 기준으로 변경되어 기존 기능과 결과가 달라질 수 있다. 전체 요약 7문장 읽기 → 005 21:10 당일 +465 수조 개 파라미터 모델 훈련용 오픈소스 GPU 오케스트레이션 프레임워크 Higgsfield는 수십억~수조 개 파라미터의 거대 언어모델 훈련을 위한 장애 허용 GPU 오케스트레이션 및 머신러닝 프레임워크다. AI · 머신러닝 · higgsfield-ai/higgsfield · Jupyter Notebook
Key Point GPU 자원이 부족한 국내 개발자도 클라우드 서버들을 연결해 차세대 LLM 훈련을 시작할 수 있게 되었으며, 환경과 설정 복잡도를 크게 줄였기 때문이다.
핵심 요약
Higgsfield는 수십억~수조 개 파라미터의 거대 언어모델 훈련을 위한 장애 허용 GPU 오케스트레이션 및 머신러닝 프레임워크다. DeepSpeed ZeRO-3와 PyTorch의 완전 샤딩 데이터 병렬(FSDP)을 지원하여 극대규모 모델 분산 훈련을 가능하게 한다. Docker와 GitHub Actions를 통해 코드 배포 및 실험 실행·모니터링을 자동화하며, 표준 PyTorch 워크플로를 따른다. 전체 요약 5문장 읽기 →