쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
11건 · "자기증류"조건 지우기 ×
001 21:11 ▲ 21 · 댓글 3 LLM 자기증류 학습의 메모리 효율을 높인 뮤온 최적화 기법 자기증류(Self-Distillation) 방식의 LLM 학습에서 지수이동평균(EMA) 기반 교사 모델이 이미 학생 업데이트 이력을 보유하고 있는데도 기존 뮤온 옵티마이저는 별도의 모멘텀 버퍼를 유지해 메모리를 낭비한다. AI · 머신러닝 · MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
Key Point 메모리 오버헤드를 크게 줄이면서도 LLM 학습 성능을 개선하는 옵티마이저 개선으로, 제한된 리소스에서 대규모 모델을 학습하려는 개발자들에게 직접적인 영향이 있다.
핵심 요약
자기증류(Self-Distillation) 방식의 LLM 학습에서 지수이동평균(EMA) 기반 교사 모델이 이미 학생 업데이트 이력을 보유하고 있는데도 기존 뮤온 옵티마이저는 별도의 모멘텀 버퍼를 유지해 메모리를 낭비한다. 뮤온-알티(Muon-RT)는 교사-학생 간 변위(displacement)를 재사용해 숨겨진 가중치 행렬의 모멘텀 버퍼를 제거한다. 이 변위가 적용된 업데이트의 지수가중 이력을 인코딩하며 시간적으로 상관없는 노이즈를 평활한다는 것을 로컬 모델 가정 하에서 증명했다. 전체 요약 7문장 읽기 → 002 12:11 ▲ 17 · 댓글 3 멀티토큰 예측, KL 신호 복원으로 한 줄 개선 Multi-Token Prediction(MTP)은 언어모델 사전학습에서 다음토큰 예측과 추론 속도를 모두 개선하지만, 표준 MTP 훈련에 결함이 있어 모델 규모가 커질수록 그래디언트 간섭 문제가 심해진다. AI · 머신러닝 · Multi-Token Prediction Done Right
Key Point 언어모델 훈련의 표준 기법인 MTP의 수학적 결함을 밝혀내고 한 줄 코드 변경으로 해결하는 방법을 제시했기 때문에, 대규모 모델 훈련 효율과 추론 속도를 동시에 개선할 수 있다.
핵심 요약
Multi-Token Prediction(MTP)은 언어모델 사전학습에서 다음토큰 예측과 추론 속도를 모두 개선하지만, 표준 MTP 훈련에 결함이 있어 모델 규모가 커질수록 그래디언트 간섭 문제가 심해진다. MTP 교차엔트로피 그래디언트는 수학적으로 분해되는데, 유용한 KL 자기증류 항과 신호대잡음비가 낮은 잔여항으로 나뉜다. 저자들은 KL 그래디언트 복원 트릭을 제시했다: 두 분포가 선형 출력층을 공유할 때, 스트레이트스루 그래디언트 라우팅으로 교차엔트로피 그래디언트를 조합하여 KL 발산의 그래디언트를 정확히 복원할 수 있다. 전체 요약 9문장 읽기 → 003 18:11 ▲ 136 · 댓글 2 강화학습 자기 증류로 언어모델 추론 능력 향상 언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. AI · 머신러닝 · Function-Space Temporal Self-Distillation for Policy Optimization
Key Point 언어모델 훈련 효율성과 메모리 사용량을 동시에 개선하는 새로운 자기 증류 방식이 공개되어, 대규모 모델 개발 비용 절감에 관심 있는 연구자와 개발자가 참고할 만하다.
핵심 요약
언어모델의 추론 능력을 향상시키는 검증 가능한 보상(RLVR) 방식은 응답 과정에 대해 너무 적은 감시만 제공한다. 자기 증류는 보조 없는 정책과 피드백 기반 자기교사를 비교해 토큰 수준의 밀집된 지도를 제공하지만, 교사 모델이 학생과 함께 진화하면서 불안정한 목표와 추가 정규화의 필요성을 야기한다. 논문은 함수 공간 정책 최적화(FSPO)를 제안하며, 현재 특권화된 적응과 함수 공간 시간적 통합을 하나의 정책 프레임워크에서 결합한다. 전체 요약 8문장 읽기 → 004 18:11 ▲ 76 · 댓글 2 강화학습 에이전트 최적화, 방법 많다고 더 나을까 에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. AI · 머신러닝 · More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
Key Point 에이전트 강화학습의 자기증류 방법이 계속 제안되는 가운데, 실제로 더 많은 방법이 더 나은 성능을 보장하지 않는다는 점이 중요하기 때문에 방법론 선택과 연구 방향에 영향을 미친다.
핵심 요약
에이전트 강화학습의 자기증류 방법들이 증가했지만, 기존 평가는 다른 실험 조건에서 발표된 기준점을 재사용하고 동시대 방법들 간 직접 비교가 부족하며 훈련 안정성과 계산 비용을 거의 고려하지 않았다. 연구팀은 10가지 대표 방법을 GRPO와 함께 ALFWorld, ScienceWorld, Search-QA, WebShop에서 3가지 모델 크기로 비교했으며, 132개 훈련 실행과 총 12,124.4시간의 H800 GPU를 사용해 8개 롤아웃 시드로 반복 평가했다. 최종 성능 외에 훈련 진행률, 안정성, 측정된 계산 비용을 조사했고, GRPO 대비 성능 향상이 제한적이며 모든 설정에서 지속적으로 뛰어난 방법이 없음을 발견했다. 전체 요약 5문장 읽기 → 005 09:11 ▲ 30 · 댓글 2 언어 모델 에이전트를 위한 숨은 표현 자기증류 기법 제안 언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. AI · 머신러닝 · PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
Key Point 강화학습 기반 에이전트 훈련에서 은닉 상태 정렬이라는 새로운 자기증류 방식으로 기존 방법보다 상당히 높은 성능 개선을 이루었으며, 외부 자원 없이 단순한 구조로 실용적이다.
핵심 요약
언어 모델 에이전트를 강화학습으로 훈련할 때, 특정 스킬을 가진 정책이 스킬 없는 버전을 가르치는 기존 자기증류 방식은 토큰 확률 변화가 미미한데 WebShop에서 성공률이 42.2%에서 56.2%로 크게 향상되는 모순이 있다. 연구팀은 스킬이 응답 토큰의 80% 이상에서 은닉 상태를 변화시키며, 이 변화를 선형 프로브로 추적할 수 있다는 점을 발견했다. 이를 바탕으로 PR-OPD(Privileged Representation On-policy Self-Distillation) 방법을 제안하며, GRPO 사전학습 후 정책이 각 궤적에 대해 후지학적 스킬을 작성한다. 전체 요약 6문장 읽기 → 006 15:11 ▲ 60 · 댓글 2 멀티모달 AI의 연산 비용을 줄이는 '탄력적 시각 표현' 기법 등장 멀티모달 대규모언어모델(MLLM)은 이미지를 균등한 고정 크기의 토큰으로 인코딩해 비용이 크지만, 실제로는 이미지 영역마다 필요한 세부도가 다르다. AI · 머신러닝 · VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
Key Point 다음 세대 멀티모달 모델 실서빙에서 비용과 속도를 동시에 개선하는 기술이 나왔으며, 기존 토큰 제거 기법보다 성능 유지 능력이 뛰어나다.
핵심 요약
멀티모달 대규모언어모델(MLLM)은 이미지를 균등한 고정 크기의 토큰으로 인코딩해 비용이 크지만, 실제로는 이미지 영역마다 필요한 세부도가 다르다. 기존 다운샘플링과 토큰 제거 기법들은 내용에 따른 세밀한 적응, 다양한 작업 지원, 최신 모델 통합에서 한계가 있었다. VisionWeave는 이미지 영역별로 세부도를 적응적으로 조절하는 '탄력적 시각 표현 짜기' 능력을 MLLM에 구현했다. 전체 요약 8문장 읽기 → 007 12:11 ▲ 12 · 댓글 2 공간 추론 AI, 도구 없이도 학습 가능 멀티모달 대형언어모델(MLLM)의 공간 추론 능력을 높이는 기존 방식은 외부 코딩 도구를 써야 해 추론 시간이 길고 외부 의존성이 높다. AI · 머신러닝 · SpatialOPSD: Self-Distilling Spatial Intelligence from Verified Coding Agent Traces
Key Point 공간 추론 능력이 필요한 비전-언어 작업에서 외부 도구 의존을 제거하면서도 성능을 유지할 수 있다는 점이 중요하며, 자기 증류를 통한 에이전트 능력 내재화는 더 효율적인 AI 시스템 구축에 시사점을 준다.
핵심 요약
멀티모달 대형언어모델(MLLM)의 공간 추론 능력을 높이는 기존 방식은 외부 코딩 도구를 써야 해 추론 시간이 길고 외부 의존성이 높다. 연구팀은 MLLM이 도구 없이 공간 추론을 스스로 수행할 수 있는지 탐구했고, 검증된 코딩 에이전트의 실행 추적(trace)을 요약해 모델에 보여주면 내부 사고 과정이 활성화됨을 발견했다. 이를 바탕으로 SpatialOPSD라는 자기 증류(self-distillation) 프레임워크를 제안했으며, 검증된 에이전트 추적을 특권 정보로 취급해 모델에 공간 추론을 내재화한다. 전체 요약 5문장 읽기 → 008 18:35 ▲ 17 · 댓글 2 LLM 에이전트가 실행 중 스스로 학습하는 ASCENT 기법 LLM 에이전트가 배포 후 자신의 실행 궤적에서 학습하는 온라인 테스트타임 학습(OaTTT) 연구를 제시한다. AI · 머신러닝 · ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience
Key Point LLM 에이전트의 연속 배포 중에 외부 재학습 없이 자동으로 개선될 수 있는 방법을 제시하며, 실제 운영 환경에서의 지속적 성능 향상 경로를 열어준다.
핵심 요약
LLM 에이전트가 배포 후 자신의 실행 궤적에서 학습하는 온라인 테스트타임 학습(OaTTT) 연구를 제시한다. 각 작업을 한 번에 실행하고 검증 결과가 나오면, 그것만을 학습 신호로 삼아 가중치를 업데이트한다. 생성된 토큰을 직접 모방하거나 강화학습하면 정책이 불안정해지는 문제를 발견했다. 전체 요약 8문장 읽기 → 009 18:11 ▲ 52 · 댓글 2 마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. AI · 머신러닝 · Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Key Point 마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다. Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다. 전체 요약 5문장 읽기 → 010 15:11 ▲ 16 · 댓글 2 수학 문제 풀이 AI, 근처 파라미터로 학습 더 정확해진다 수학 추론 모델을 학습시키는 온정책 자기증류(OPSD)는 기준 해답을 보는 특권화된 교사가 학생이 샘플한 중간 단계를 감독한다. AI · 머신러닝 · Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation
Key Point 기존 자기증류 방식의 고정된 감독 전략을 파라미터 근처 탐색으로 개선해 AIME 수학 올림피아드 벤치마크에서 2~3포인트 일관된 성능 향상을 달성했으므로, 수학 문제 풀이 AI의 정확도 향상이 어떻게 이루어지는지 실제로 확인할 수 있다.
핵심 요약
수학 추론 모델을 학습시키는 온정책 자기증류(OPSD)는 기준 해답을 보는 특권화된 교사가 학생이 샘플한 중간 단계를 감독한다. 기존 OPSD는 매 상태마다 고정된 파라미터 설정 하나만 사용했으나, 근처의 파라미터 변동이 같은 기준 맥락에서 추가 감독을 제공한다. 지역 파라미터 섭동은 기준과 정렬된 상이한 정정(correction)을 드러내며, 다양한 전문가들이 기준 위치의 여러 지점에서 이를 제공한다. 전체 요약 9문장 읽기 → 011 22:26 ▲ 12 · 댓글 2 에이전트의 다단계 학습 시 능력 저하를 막는 ACLArena 프레임워크 산업 배포용 범용 에이전트는 여러 단계의 학습에서 각각 다른 능력을 습득해야 하는데, 이들을 통합할 때의 트레이드오프에 대한 표준 방법론이 부재했다. AI · 머신러닝 · ACLArena: Agent Continue Learning in Multi-stage Post-training
Key Point 에이전트가 여러 능력을 순차적으로 학습할 때 이전 기술을 잊는 문제를 해결하는 실질적 기법을 제시하므로, 멀티태스크 학습이 필요한 AI 시스템 개발에 참고할 수 있다.
핵심 요약
산업 배포용 범용 에이전트는 여러 단계의 학습에서 각각 다른 능력을 습득해야 하는데, 이들을 통합할 때의 트레이드오프에 대한 표준 방법론이 부재했다. ACLArena는 에이전트 지속 학습(ACL)을 ���합적으로 연구·분석·평가하는 프레임워크로, 순차 학습 파이프라인을 구축하고 모델 수준과 토큰 수준에서 망각(catastrophic forgetting)과 일반화 메커니즘을 분석했다. 다중 교사 온-폴리시 증류, 자기증류 미세 조정, 모델 병합 등 세 가지 통합 패러다임을 체계적으로 비교하여 이전 학습 능력 복구와 새 능력 보존의 균형을 평가했다. 전체 요약 5문장 읽기 →