쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 4일 (수)까지3898건
6건 · "LLM 훈련"조건 지우기 ×
001▲ 32 · 댓글 1INT4 양자화로 강화학습 롤아웃 1.8배 빠르게비동기 롤아웃은 긴 생성 작업 중 미활용을 줄여 검증 가능한 보상(RLVR) 강화학습의 효율성을 높이지만, 맥락 처리가 적은 디코딩 단계에 집중되면서 KV 캐시 작업 부하가 증가한다.AI · 머신러닝 · KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
Key Point강화학습 훈련에서 KV 캐시 양자화로 하드웨어 메모리 사용량을 크게 줄이면서도 정확도 손실을 거의 없는 방법이 나왔기 때문에, 리소스 제약이 있는 환경에서의 LLM 훈련 효율을 크게 개선할 수 있다.
핵심 요약
- 비동기 롤아웃은 긴 생성 작업 중 미활용을 줄여 검증 가능한 보상(RLVR) 강화학습의 효율성을 높이지만, 맥락 처리가 적은 디코딩 단계에 집중되면서 KV 캐시 작업 부하가 증가한다.
- 가중치 전용·가중치-활성화 양자화보다 KV 캐시 양자화가 훨씬 더 큰 가속 효과를 주지만, INT4 양자화만으로는 토큰 단위 절단된 중요도 샘플링(TIS)을 써도 학습이 악화될 수 있다.
- KV4-RL은 보정 없는 INT4 KV 양자화에 어텐션 싱크와 최근 문맥의 일부 위치만 INT8로 보호해 샘플러 오정렬을 줄이면서도 대부분의 속도 이득을 유지한다.
전체 요약 5문장 읽기 →AI · 머신러닝 · Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics
Key Point루브릭 기반 강화학습에서 점수 조작을 방지하고 실제 품질을 높이는 구체적인 방법론이 제시되어, LLM 훈련에서 평가 메커니즘 설계의 중요성을 보여준다.
핵심 요약
- 루브릭 기반 강화학습(Rubric-RL)은 검증자 없이 언어모델을 훈련하는데, 각 평가 기준을 개별 점수로 합산하는 방식이 문제다.
- 합산식 집계에서는 기준들이 상호 보완되어, 중요한 결정을 놓친 정책도 불필요한 조언으로 점수를 메워 높은 평가를 받을 수 있다.
- 임상 상담 실험에서 이런 정책은 루브릭 커버리지는 높아졌지만 의사의 실제 판단 기준에서는 훈련 전 모델보다 성능이 떨어졌다.
전체 요약 7문장 읽기 →AI · 머신러닝 · ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
Key Point강화학습 모델 훈련에서 정책 최적화 과정의 근본적인 문제를 진단하고 이를 해결하는 새로운 알고리즘을 제시하여, 특히 데이터 재사용 효율성이 중요한 LLM 훈련에 직접 적용될 수 있기 때문이다.
핵심 요약
- 검증 가능한 보상으로부터의 강화학습(RLVR)에서 롤아웃을 여러 정책 업데이트에 걸쳐 재사용하면, 현재 정책과 데이터 생성 정책 간의 불일치가 심화된다.
- 기존 클리핑 기반 정책 최적화에서 '부호 의존 그래디언트 기아' 문제가 발생하는데, 이는 클리핑이 저중요도 가중치 영역의 미생성 긍정 응답을 억제하면서 동시에 고중요도 영역의 과도 생성 부정 응답이 지배하게 되는 현상이다.
- 연구팀은 ReSPO(Reshaped Sequence Policy Optimization)를 제안하는데, α-발산 변분 목적함수와 지수 분산 제어 틸트에서 파생된 부드러운 이중 분기 시퀀스 레벨 커널로 클리핑을 대체한다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Scaling Properties of Same-Family On-Policy Distillation
Key Point작은 모델의 강화학습 능력이 훨씬 큰 모델로 효과적으로 전이될 수 있음을 보여주므로, 효율적인 LLM 훈련 방식을 모색하는 개발자와 연구자들에게 실질적인 지침을 제공한다.
핵심 요약
- 강화학습이 대규모언어모델에 추론 능력을 부여할 수 있지만, 모델 크기가 다를 때 이 능력이 얼마나 전이되는지는 미명확했다.
- 연구팀은 정책 증류(on-policy distillation, OPD)의 스케일링 특성을 약한 선생-강한 학생, 같은 기반-다른 크기, 강한 선생-약한 학생 구조에서 분석했다.
- 초기 OPD 훈련 과정에서 일관되게 '유용한 전이(useful-transfer)' 단계가 나타나며, 이 구간에서 성능(gold score)은 학생의 KL 발산의 제곱근에 거의 선형으로 증가한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · FareedKhan-dev/train-llm-from-scratch · Python
Key PointLLM 개발의 모든 단계를 직접 이해하고 구현하려는 개발자와 연구자에게 명확한 참고 자료가 되어준다.
핵심 요약
- Attention is All You Need 논문을 기반으로 PyTorch에서 트랜스포머 모델을 처음부터 구현한 튜토리얼 저장소.
- 단일 GPU로 수백만~수십억 개 파라미터 규모의 LLM을 훈련할 수 있으며, 데이터 전처리부터 텍스트 생성까지 전체 과정을 다룬다.
- trl, peft, transformers 같은 외부 라이브러리 없이 모든 알고리즘을 순수 PyTorch로 구현했다.
전체 요약 5문장 읽기 →AI · 머신러닝 · higgsfield-ai/higgsfield · Jupyter Notebook
Key PointGPU 자원이 부족한 국내 개발자도 클라우드 서버들을 연결해 차세대 LLM 훈련을 시작할 수 있게 되었으며, 환경과 설정 복잡도를 크게 줄였기 때문이다.
핵심 요약
- Higgsfield는 수십억~수조 개 파라미터의 거대 언어모델 훈련을 위한 장애 허용 GPU 오케스트레이션 및 머신러닝 프레임워크다.
- DeepSpeed ZeRO-3와 PyTorch의 완전 샤딩 데이터 병렬(FSDP)을 지원하여 극대규모 모델 분산 훈련을 가능하게 한다.
- Docker와 GitHub Actions를 통해 코드 배포 및 실험 실행·모니터링을 자동화하며, 표준 PyTorch 워크플로를 따른다.
전체 요약 5문장 읽기 →