쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
3건 · "FP8 양자화"조건 지우기 ×
001 00:11 새 버전 허깅페이스 Transformers v5.22.0, 미스트랄 라지 4 모델 지원 미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. AI · 머신러닝 · huggingface/transformers@v5.22.0
Key Point 1조 파라미터 오픈 가중치 멀티모달 모델의 등장으로 로컬 추론과 파인튜닝이 가능해지며, 기존 폐쇄형 모델과 경쟁 가능한 성능(사이버보안·금융·법률·시각적 근거 찾기)을 제시한다.
핵심 요약
미스트랄이 공개한 라지 4(르 숑크)는 1조 파라미터 규모의 네이티브 멀티모달 혼합 전문가 모델로, 토큰당 49억 개의 활성 파라미터(임베딩과 출력층 포함 52억 개)를 가지고 있다. 유럽 미스트랄 데이터센터의 3800개 엔비디아 그레이스 블랙웰 GPU로 처음부터 학습했으며, 명령어 따르기·추론·코딩·에이전트 작업을 단일 가중치로 통합한다. 160개 이상의 언어에 네이티브로 유창하며, EU 공식 언어 전체를 지원한다. 전체 요약 10문장 읽기 → 002 22:45 당일 +276 NVIDIA Model Optimizer, 양자화·가지치기·증류 등 최적화 기법 통합 라이브러리 오픈소스화 NVIDIA Model Optimizer는 양자화, 가지치기(pruning), 신경망 구조 탐색(NAS), 증류, 추측 디코딩, 희소성 등 최신 모델 최적화 기법을 통합한 라이브러리다. AI · 머신러닝 · NVIDIA/Model-Optimizer · Python
Key Point DL 인퍼런스 배포 시 성능과 메모리 효율을 동시에 높이려는 개발자들에게 양자화, 가지치기, 증류 등을 통합 관리할 수 있는 공식 도구가 생겼고, 오픈소스로 누구나 기여 가능해졌다.
핵심 요약
NVIDIA Model Optimizer는 양자화, 가지치기(pruning), 신경망 구조 탐색(NAS), 증류, 추측 디코딩, 희소성 등 최신 모델 최적화 기법을 통합한 라이브러리다. Hugging Face, PyTorch, ONNX 모델을 입력받아 Python API로 최적화 기법들을 조합해 적용하고, 최적화된 양자화 체크포인트를 생성한다. 생성된 체크포인트는 TensorRT-LLM, vLLM, SGLang 등 인퍼런스 프레임워크에 바로 배포 가능하며, Megatron-Bridge 및 Hugging Face Accelerate와 통합돼 있다. 전체 요약 12문장 읽기 → 003 22:26 ▲ 13 · 댓글 2 저정밀 연산으로 LLM 강화학습 안정화, FP8 파이프라인 전체 최적화 LLM의 추론·에이전트 능력 향상을 위해 강화학습이 중요 기법으로 자리잡았으며, FP8 양자화는 학습 속도를 높일 수 있으나 전체 파이프라인에서 안정성 유지가 과제였다. AI · 머신러닝 · Towards Full Pipeline FP8 Reinforcement Learning for LLMs
Key Point 저정밀 연산(FP8)으로 LLM 강화학습 속도를 높이면서도 BF16 수준의 안정성을 유지할 수 있게 되어, 대규모 모델의 효율적인 학습이 실무에서 더 현실적으로 가능해진다.
핵심 요약
LLM의 추론·에이전트 능력 향상을 위해 강화학습이 중요 기법으로 자리잡았으며, FP8 양자화는 학습 속도를 높일 수 있으나 전체 파이프라인에서 안정성 유지가 과제였다. 기존 연구는 TIS 같은 보정 기법으로 훈련-추론 불일치를 해결했지만, 전체 FP8 강화학습 파이프라인에서는 여전히 심각한 불안정성이 발생한다. 문제는 훈련 중 갑작스런 엔트로피 급상승과 출력 왜곡으로 나타나는데, 근본 원인은 누적된 FP8 양자화 잡음이 중요도 비율을 왜곡해 음수 이득 토큰을 신뢰 영역 밖으로 밀어내고 그래디언트를 잘못 영점화한다는 점이다. 전체 요약 6문장 읽기 →