쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
8건 · "옵티마이저"조건 지우기 ×
001 03:12 ▲ 13 · 댓글 2 장기 강화학습에 Muon 옵티마이저 필수 장기 지평(long-horizon) 에이전트는 확장된 상호작용에서 추론, 도구 사용, 환경 피드백을 조율해야 한다. AI · 머신러닝 · Long-Horizon RL Needs Muon
Key Point 장기 강화학습 작업에서 효율적인 학습을 위한 구체적인 옵티마이저와 훈련 기법이 필요하며, Muon 기반 레시피가 기존 방법보다 나은 성능을 달성했기 때문이다.
핵심 요약
장기 지평(long-horizon) 에이전트는 확장된 상호작용에서 추론, 도구 사용, 환경 피드백을 조율해야 한다. 희소 결과 보상에서 학습하려면 길이가 다른 궤적에 가중치를 부여하고 롤아웃이 진행 중일 때 정책을 업데이트해야 한다. 연구팀은 Muon, 토큰 평균 손실, 잘린 중요도 샘플링, 길이·도구 오류 보조 손실을 결합한 단일 롤아웃 비동기 레시피를 제안했다. 전체 요약 6문장 읽기 → 002 18:12 ▲ 113 · 댓글 63 AI가 자기 자신을 재귀적으로 개선하는 방법 Sakana AI 연구팀이 다중 에이전트 시스템의 집단 지능을 통해 AI 모델이 스스로를 개선하는 MASS(Multi-Agent Self-Supervision) 기법을 제안했다. AI · 머신러닝 · Recursive self-improvement through collective intelligence
Key Point 인간 감시자도 평가 불가능한 최첨단 과제에서 AI가 홀로 자신을 개선할 수밖에 없는 상황에서, 집단 지능을 통한 자기 감시 메커니즘이 작동하는지 보여주며, 동시에 그 방식의 안전 위험을 드러내는 연구다.
핵심 요약
Sakana AI 연구팀이 다중 에이전트 시스템의 집단 지능을 통해 AI 모델이 스스로를 개선하는 MASS(Multi-Agent Self-Supervision) 기법을 제안했다. MASS는 같은 모델이 작업 수행자, 워크플로우 최적화자, 평가자 세 역할을 모두 하는 동형 재귀적 자기 개선(RSI) 방식이다. 내부 루프에서 모델이 다중 에이전트 팀의 업무 분담 방식을 최적화하고, 외부 루프에서 최적화된 워크플로우 실행으로부터 배운다. 전체 요약 12문장 읽기 → 003 18:33 ▲ 20 · 댓글 2 언어모델이 분자 최적화 알고리즘을 자동 설계 양자화학 계산에서 기하 최적화는 각 단계마다 힘 계산이 필요해 가장 비용이 큰 부분이다. AI · 머신러닝 · Optimizing the Optimizer: Language Models Discover Faster Molecular Relaxation
Key Point 언어모델이 과학 계산의 핵심 병목인 분자 최적화 알고리즘을 자동으로 개선해 계산 비용을 40% 이상 줄인 사례로, AI가 직접 과학 연구 방법론을 최적화할 수 있음을 보여준다.
핵심 요약
양자화학 계산에서 기하 최적화는 각 단계마다 힘 계산이 필요해 가장 비용이 큰 부분이다. 연구팀은 언어모델 에이전트를 이용해 최적화 알고리즘 자체를 개선할 수 있는지 시도했다. 에이전트가 기존 최고 성능의 오픈소스 옵티마이저 Sella를 기반으로 자동으로 재작성하면서 힘 계산 횟수를 최소화한다. 전체 요약 6문장 읽기 → 004 18:33 ▲ 459 · 댓글 101 Polars 2.0 출시, SQL 지원 강화하고 스트리밍 엔진 기본화 Polars 2.0이 출시됐으며, 스트리밍 엔진을 기본값으로 설정해 메모리와 성능을 크게 개선했다. 오픈소스 · 도구 · Polars 2.0
Key Point SQL 엔진 표준화와 메모리 초과 상황 대응이라는 데이터 분석 도구의 핵심 문제를 해결한 메이저 업데이트로, 스트리밍과 OOC 기본화로 많은 사용자가 즉시 성능 향상을 체험할 것이다.
핵심 요약
Polars 2.0이 출시됐으며, 스트리밍 엔진을 기본값으로 설정해 메모리와 성능을 크게 개선했다. SQL을 1급 지원 대상으로 승격시켰으며, 쿼리 재정렬과 공통-부분계획 제거, 다이나믹 프레디케이트/블룸 필터 등 옵티마이저 개선을 통해 성능을 강화했다. TPC-H와 TPC-DS 벤치마크에서 Polars SQL이 DuckDB 1.5.6, DuckDB 2.0 알파, DataFusion 54.0.0을 비교한 결과 16 vCPU와 192 vCPU 환경에서 대부분의 쿼리에서 가장 빠른 성능을 보였다. 전체 요약 11문장 읽기 → 005 18:35 ▲ 277 · 댓글 82 역전파 없이 트랜스포머를 학습하는 'Dust' 알고리즘 등장 연구진이 역전파를 대체하는 첫 번째 0차 최적화 방법 'Dust'를 제시했으며, 대규모 언어 모델 사전학습에서 역전파와 경쟁 가능한 성능을 보인다. AI · 머신러닝 · Dust: Pretraining Transformers Without Backpropagation
Key Point 역전파 없이도 대규모 언어 모델을 학습할 수 있는 첫 경쟁력 있는 방법이 등장했으며, 기존 진화 전략보다 수천 배 효율적이고 계산량이 충분하면 역전파를 능가할 가능성을 보여준다.
핵심 요약
연구진이 역전파를 대체하는 첫 번째 0차 최적화 방법 'Dust'를 제시했으며, 대규모 언어 모델 사전학습에서 역전파와 경쟁 가능한 성능을 보인다. Dust는 모든 토큰에서 독립적으로 활성화를 교란하여 각 토큰을 가상 개체군 구성원으로 취급하고, 한 번의 순전파에서 수천 개의 개체군 구성원을 병렬로 평가한다. 가중치 공간 진화 전략(EGGROLL)보다 1000배~10000배 효율적이며, 100만 토큰 이상에서 이를 달성한다. 전체 요약 11문장 읽기 → 006 09:11 ▲ 13 · 댓글 2 여러 RL 교사 모델의 신호가 학생 파라미터에 미치는 영향 분석 Qwen3-1.7B 학생 모델과 같은 초기화에서 훈련한 4개 도메인 RL 교사들로부터의 다중 교사 온폴리시 증류(MOPD) 과정에서 그래디언트, 옵티마이저 업데이트, 태스크 학습 곡선을 비교 분석했다. AI · 머신러닝 · From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation
Key Point 여러 교사 신호를 결합할 때 손실 평균화, 옵티마이저 동작, 정밀도가 최종 성능에 미치는 구체적인 영향을 분석한 결과로, LLM 증류 설계의 의사결정 근거를 제시한다.
핵심 요약
Qwen3-1.7B 학생 모델과 같은 초기화에서 훈련한 4개 도메인 RL 교사들로부터의 다중 교사 온폴리시 증류(MOPD) 과정에서 그래디언트, 옵티마이저 업데이트, 태스크 학습 곡선을 비교 분석했다. 손실 평균화는 응답 길이를 기반으로 암묵적 가중치를 부여하는데, 토큰 평균화는 긴 응답을 선호하고 도메인 기여도 균등화도 도메인 내에서 이 가중치를 유지한다. Adam 옵티마이저의 1차 모멘트는 파라미터 업데이트의 차이를 감소시켜, 원본 그래디언트에는 차이가 있지만 교사 간 코사인 유사도 0.83, 평균화 규칙 간 0.96을 보인다. 전체 요약 6문장 읽기 → 007 21:11 당일 +136 마이크로소프트 SkillOpt, 모델 가중치 고정한 채 LLM 에이전트 스킬 자동 개선 마이크로소프트가 SkillOpt를 오픈소스로 공개했다. 이는 LLM 모델의 가중치를 건드리지 않고 자연어로 작성된 에이전트 스킬 문서를 신경망처럼 학습시키는 텍스트 공간 최적화 도구다. AI · 머신러닝 · microsoft/SkillOpt · Python
Key Point LLM 모델 자체를 수정하지 않고도 자연언어 스킬을 신경망처럼 반복 학습시켜 에이전트 성능을 대폭 개선할 수 있다는 점이 기존 방식과 근본적으로 다르며, 52개 평가 환경 전수에서 최고 성능을 입증했다.
핵심 요약
마이크로소프트가 SkillOpt를 오픈소스로 공개했다. 이는 LLM 모델의 가중치를 건드리지 않고 자연어로 작성된 에이전트 스킬 문서를 신경망처럼 학습시키는 텍스트 공간 최적화 도구다. 기존 에이전트 스킬은 수작업으로 만들거나 강력한 LLM으로 한 번에 생성하거나 느슨한 자가개선에만 의존했다. SkillOpt는 스킬 문서를 얼린 에이전트의 학습 가능한 상태로 취급하고 신경망 최적화처럼 학습시킨다. 동작 방식은 스코어된 롤아웃(실행 결과)을 텍스트 에디트(추가/삭제/변경)로 변환하는 별도의 옵티마이저 모델을 사용한다. 후보 에디트는 검증용 점수를 엄격히 향상시킬 때만 수용되며, 텍스트 학습률 예산과 에포크별 업데이트로 안정성을 보장한다. 전체 요약 9문장 읽기 → 008 03:10 ▲ 108 · 댓글 17 38억 파라미터 LLM을 998달러에 학습시키다 3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다. AI · 머신러닝 · Training a 3.8B LLM to 0.384 CORE for $998
Key Point 개인 개발자가 수천 달러 규모로 의미 있는 규모의 언어 모델을 학습할 수 있는 현실적인 경로와 구체적 최적화 기법을 보여주며, AI 인프라 설계의 중요성을 강조하는 사례입니다.
핵심 요약
3.8B 파라미터 언어 모델을 65B 토큰으로 43시간 동안 학습해 CORE 벤치마크 0.384점을 달성했다. B200 GPU 8개 렌탈 비용 $998로 GPT-2 대비 훨씬 나은 성능을 구현했으며, 같은 비용대의 nanochat d32보다 의미 있게 우수하다. Trapezoidal LR 스케줄, Muon 옵티마이저, ClimbMix 데이터셋, FP8 학습, 1024 토큰 컨텍스트 등 다섯 가지 최적화로 858M 모델의 실패 사례에서 개선했다. 전체 요약 5문장 읽기 → 
