쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
6건 · "학습 최적화"조건 지우기 ×
001 03:11 ▲ 15 · 댓글 2 AI 영상 학습 최적화, 프레임 간 의존성 제거로 1.45배 빠른 로딩 대규모 AI 모델 학습에 사용되는 영상 데이터셋은 임의의 시간 구간에서 프레임을 샘플링하는데, 순차 재생 최적화된 기존 영상 저장 방식이 병목이 된다. AI · 머신러닝 · Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access
Key Point AI 모델 학습용 영상 데이터의 로딩 병목을 해결하는 방법을 제시하며, 대규모 학습 인프라의 처리량을 크게 높일 수 있어 실용적이다.
핵심 요약
대규모 AI 모델 학습에 사용되는 영상 데이터셋은 임의의 시간 구간에서 프레임을 샘플링하는데, 순차 재생 최적화된 기존 영상 저장 방식이 병목이 된다. 기존 방식은 프레임 간 참조 구조로 압축률을 높이지만, 임의 접근 시 관련 없는 프레임도 함께 디코딩해야 해 비효율적이다. 논문은 두 가지 디코딩 증폭 원인을 파악했다: 무관한 프레임의 순차 복원과 샘플링 대상이 참조하는 체인의 복원이다. 전체 요약 8문장 읽기 → 002 15:11 ▲ 85 · 댓글 2 복잡한 작업도 자기 재작성으로 학습 데이터 확장 복잡한 터미널 작업 해결을 위해 Recursive Self-Rewrite(RSR) 프레임워크를 제안했다. AI · 머신러닝 · Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite
Key Point 다양한 도구와 환경을 활용한 경험을 일반화된 학습 데이터로 변환하는 기법으로, 복잡한 작업에서 모델 성능을 대폭 끌어올릴 수 있음을 보여준다.
핵심 요약
복잡한 터미널 작업 해결을 위해 Recursive Self-Rewrite(RSR) 프레임워크를 제안했다. Qwen 3.8-27B 기반 모델이 다양한 도구와 환경에서 성공한 해법을 발견하고, 일반 환경에서 재실행 가능한 학습 데이터로 재구성한다. 플래너가 절차를 실행 가이드(runbook)로 추출하고, 비판자가 데이터 누수를 점검하며 반복 개선을 지도한다. 전체 요약 8문장 읽기 → 003 21:11 ▲ 29 · 댓글 2 다중 보상 학습 최적화하는 CorrGRPO 알고리즘 Group Relative Policy Optimization(GRPO)은 추론 언어 모델 학습에 널리 쓰이며, 동일 프롬프트 롤아웃에서 보상을 중심화·정규화해 이점을 계산한다. AI · 머신러닝 · CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
Key Point 여러 목표를 동시에 최적화해야 하는 언어 모델 학습에서 각 보상의 영향력을 균형 있게 조절하는 새로운 방법을 제시하므로, 추론 모델과 에이전트 개발자에게 실질적인 개선 기회를 제공한다.
핵심 요약
Group Relative Policy Optimization(GRPO)은 추론 언어 모델 학습에 널리 쓰이며, 동일 프롬프트 롤아웃에서 보상을 중심화·정규화해 이점을 계산한다. 다중 보상 처리 시 기존 GRPO는 보상 성분을 합산한 뒤 그룹 내 표준편차로 정규화하는데, 분산이 모든 보상 공분산의 합이 된다. 중심화된 보상이 고정될 때 공분산이 클수록 이점이 작아지므로, 보상 간 상관성에 따라 업데이트 크기가 적응하지만 대규모 보상이 정규화를 지배해 소규모 보상 신호를 억제한다. 전체 요약 8문장 읽기 → 004 03:11 새 버전 Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가 Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. AI · 머신러닝 · huggingface/transformers@v5.18.0
Key Point Transformers는 파이토치의 표준 NLP 라이브러리이며, 이 버전은 실시간 음성 처리, 멀티모달 추론, 분산 학습 최적화 등 프로덕션 환경의 여러 문제를 해결한다.
핵심 요약
Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다. HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다. 전체 요약 8문장 읽기 → 005 22:29 ▲ 39 · 댓글 2 자동회귀 영상 생성의 메모리 문제, 체계적 연구 프레임 제시 자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. AI · 머신러닝 · The Past Frames the Future: Memory for Autoregressive Video Generation
Key Point 자동회귀 영상 생성이 점점 길어지면서 메모리 부족으로 인한 시간적 일관성 붕괴 문제가 실질적 제약인데, 이를 체계화한 첫 종합 리뷰라 기술 개발 방향에 영향을 미칠 것으로 예상된다.
핵심 요약
자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. 이 논문은 자동회귀 영상 생성에서 메모리 메커니즘을 체계적으로 검토하는 첫 종합 연구다. 메모리를 '과거 단계의 정보가 현재 컨텍스트에서 접근 불가능해진 후에도 미래 생성에 영향을 미칠 수 있는 지속적 역사 정보'로 정의한다. 전체 요약 6문장 읽기 → 006 03:10 ▲ 108 · 댓글 17 38억 파라미터 LLM을 998달러에 학습시키다 3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다. AI · 머신러닝 · Training a 3.8B LLM to 0.384 CORE for $998
Key Point 개인 개발자가 수천 달러 규모로 의미 있는 규모의 언어 모델을 학습할 수 있는 현실적인 경로와 구체적 최적화 기법을 보여주며, AI 인프라 설계의 중요성을 강조하는 사례입니다.
핵심 요약
3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다. B200 GPU 8개 렌탈 비용 $998로 GPT-2 대비 훨씬 나은 성능을 구현했으며, 같은 비용대의 nanochat d32보다 의미 있게 우수하다. Trapezoidal LR 스케줄, Muon 옵티마이저, ClimbMix 데이터셋, FP8 학습, 1024 토큰 컨텍스트 등 다섯 가지 최적화로 858M 모델의 실패 사례에서 개선했다. 전체 요약 5문장 읽기 → 
