쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
17건 · "모델 증류"조건 지우기 ×
001 18:13 ▲ 12 · 댓글 2 확산 모델의 4단계 생성, 속도 대립적 증류로 정확도 높인다 적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. AI · 머신러닝 · VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
Key Point 적은 샘플링 스텝에서도 높은 생성 품질을 유지하는 새로운 증류 방법이 텍스트-이미지, 텍스트-비디오 등 실용적인 생성 작업에 즉시 적용될 수 있다.
핵심 요약
적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. 흐름 일치 방식은 학생의 샘플링 과정에서 구성한 속도 필드를 통해 더 유연한 감독을 제공한다. 연구팀은 학습된 비평자를 사용해 학생과 교사의 속도 필드를 비교하고 불일치를 피드백으로 삼는 속도 대립적 증류(VAD)를 제안했다. 전체 요약 7문장 읽기 → 002 03:11 ▲ 34 · 댓글 4 LLM 증류 방식 개선, 확률값 대신 토큰 순서만 학습 기존 온폴리시 증류(OPD)는 학생 모델을 교사 모델의 토큰 확률값에 맞춰 학습시킨다. AI · 머신러닝 · Order-Only On-Policy Distillation
Key Point 확률값 대신 토큰 순서만 학습하는 방식으로 LLM 증류 성능을 개선했으며, 온도 튜닝 같은 복잡한 하이퍼파라미터 조정이 필요 없어진다는 점이 실무적 가치를 갖는다.
핵심 요약
기존 온폴리시 증류(OPD)는 학생 모델을 교사 모델의 토큰 확률값에 맞춰 학습시킨다. 이 확률값에는 교사가 선호하는 토큰이 무엇인지와 얼마나 확신하는지 두 가지 정보가 섞여있는데, 후자는 교사의 용량과 보정을 반영하므로 작은 학생 모델이 재현하기 어렵다. 교사 온도 변화가 확률값을 바꾸지만 순서는 유지하므로 OPD는 온도 선택에 민감하다. 전체 요약 10문장 읽기 → 003 06:11 ▲ 16 · 댓글 1 학습 데이터 없이 확산 모델 가속화하는 방법 확산 모델과 플로우 모델은 수치 적분이 비싸 추론 속도가 느리며, 기존 증류법은 학습 데이터셋이나 비용 많은 교사 모델 롤아웃, 보조 네트워크 등이 필요했다. AI · 머신러닝 · Consistent Distribution Matching for Data-Free Diffusion Distillation
Key Point 학습 데이터가 필요 없으면서도 최소 함수 평가로 고화질 생성을 하는 새로운 증류 기법이 기존의 데이터 의존성과 복잡한 학습 파이프라인 문제를 해결한다.
핵심 요약
확산 모델과 플로우 모델은 수치 적분이 비싸 추론 속도가 느리며, 기존 증류법은 학습 데이터셋이나 비용 많은 교사 모델 롤아웃, 보조 네트워크 등이 필요했다. Consistent Distribution Matching이라는 시뮬레이션 프리·데이터 프리 증류 방식을 제안하며, 샘플 생성과 스코어 추정을 하나의 학생 네트워크로 통합한다. 프레임워크는 얼어 있는 교사 모델과 학습 가능한 학생 모델 두 개만 사용하고 하나의 목적함수를 최적화한다. 전체 요약 6문장 읽기 → 004 03:11 ▲ 18 · 댓글 3 오프라인 학생 모델로 증류하는 것이 더 효과적인 경우가 많다 온폴리시 증류(OPD)가 교사 모델의 능력을 학생 모델에 전달하는 방식으로 널리 쓰이지만, 초기 학생 모델로 생성한 오프라인 롤아웃에서 증류하는 Semi-OPD가 많은 경우 OPD보다 우수한 성능을 보인다. AI · 머신러닝 · When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
Key Point 증류 훈련의 핵심 선택지인 온폴리시 방식의 효과성을 재평가하는 논문으로, 더 간단하고 빠른 오프라인 방식이 많은 경우 더 나은 결과를 주는 상황을 규명한다.
핵심 요약
온폴리시 증류(OPD)가 교사 모델의 능력을 학생 모델에 전달하는 방식으로 널리 쓰이지만, 초기 학생 모델로 생성한 오프라인 롤아웃에서 증류하는 Semi-OPD가 많은 경우 OPD보다 우수한 성능을 보인다. 1.5B부터 235B 파라미터까지 17개의 교사-학생 쌍을 테스트한 결과, 14개 경우에서 Semi-OPD가 OPD를 능가했으며, 정확도 최대 13.6% 향상과 11.4배 훈련 속도 향상을 달성했다. 두 방식 중 어느 것을 선택할지는 교사와 학생의 정렬도에 따라 결정되며, 출력 토큰 겹침 비율로 측정할 수 있다. 전체 요약 5문장 읽기 → 005 18:33 ▲ 20 · 댓글 2 흐름과 확산 모델에서 데이터 망각과 경량화를 동시에 Flow 및 Diffusion 모델 같은 다단계 생성 모델은 고품질 출력을 만들지만 추론 비용이 크고 학습 데이터의 원치 않는 부분을 재현할 수 있다. AI · 머신러닝 · Data Unlearning via Inverse Distillation
Key Point 생성 모델에서 특정 학습 데이터를 제거하면서 동시에 모델 크기를 줄이는 기술이 필요한데, 이 논문이 처음으로 두 목표를 함께 달성하는 방법을 제시했기 때문이다.
핵심 요약
Flow 및 Diffusion 모델 같은 다단계 생성 모델은 고품질 출력을 만들지만 추론 비용이 크고 학습 데이터의 원치 않는 부분을 재현할 수 있다. 역방향 증류 망각(IDU) 기법은 교사 모델을 효율적인 원스텝 학생 생성기로 증류하면서 동시에 지정된 학습 부분집합의 출력을 억제하는 통합 프레임워크다. 증류를 데이터 분포에 대한 민-맥스 목적함수로 정식화하고, 이 분포를 망각 집합과 생성 분포의 혼합으로 표현해 교사의 학습 분포와 비교하면 최적점에서 보존 데이터만 복원된다. 전체 요약 6문장 읽기 → 006 03:11 ▲ 63 · 댓글 3 여러 전문 모델의 내부 표현까지 활용하는 학생 모델 증류법 온폴리시 증류(OPD)는 학생 모델이 생성한 응답으로 스스로를 학습시키는 기법인데, 기존 다중 교사 방식은 교사 모델의 출력 분포만 전달한다. AI · 머신러닝 · Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
Key Point 여러 작은 전문 모델의 능력을 한 학생 모델에 집약할 때 숨겨진 상태라는 새로운 정보 채널을 활용하면 더 효과적인 학습이 가능하며, 이는 효율적인 언어 모델 설계에 새로운 방향을 제시한다.
핵심 요약
온폴리시 증류(OPD)는 학생 모델이 생성한 응답으로 스스로를 학습시키는 기법인데, 기존 다중 교사 방식은 교사 모델의 출력 분포만 전달한다. Latent-MOPD는 표현 수준의 첫 다중 교사 증류법으로, 교사의 예측뿐 아니라 예측을 계산하는 데 사용된 숨겨진 상태도 함께 활용한다. 추가 교사 학습 없이 기존 전문 모델을 통합하며, 여러 교사로부터의 표현 감독을 조정하기 위해 후층 타겟을 선택하고, 숨겨진 너비 차이를 공유 투영으로 해소하고, 도메인별로 업데이트를 그룹화한다. 전체 요약 9문장 읽기 → 007 03:11 ▲ 175 · 댓글 3 온정책 vs 비정책 학습, 체계적 실험으로 재평가 온정책(on-policy) 학습이 재앙적 망각을 줄이고 성능을 개선한다는 주장이 있지만, 기존 연구는 여러 요소를 동시에 변경해 효과를 명확히 구분하기 어려웠다. AI · 머신러닝 · On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
Key Point 강화학습 기반 모델 최적화에서 온정책 학습의 필요성이 통념으로 여겨졌지만, 체계적인 실험을 통해 그 가정을 재검토한 논문으로 실무 선택에 직결되는 통찰을 제시한다.
핵심 요약
온정책(on-policy) 학습이 재앙적 망각을 줄이고 성능을 개선한다는 주장이 있지만, 기존 연구는 여러 요소를 동시에 변경해 효과를 명확히 구분하기 어려웠다. 연구팀은 강한 모델을 약한 모델로 증류하는 통제된 실험에서 온정책 정책, KL 방향, 학습률을 독립적으로 변경하며 Llama3과 Qwen2.5에서 과학·의료·산술 추론 과제를 실시했다. 분석 결과 온정책 정책이 중심 역할을 하지 않는 것으로 드러났다. 전체 요약 8문장 읽기 → 008 15:11 ▲ 15 · 댓글 1 학생 정책 궤적에 맞춘 교사 모델 적응 방식 제안 온-폴리시 증류(OPD)는 학생이 자신의 정책으로 생성한 궤적에서 교사의 감독을 받으며 학습하는 사후 학습 패러다임으로, 학생이 생성한 궤적은 학생에게는 온-폴리시이지만 교사에게는 오프-폴리시라는 근본적 비대칭성을 가진다. AI · 머신러닝 · On the Off-Policy Teacher in On-Policy Distillation
Key Point 온-폴리시 증류는 모델 사후 학습의 새로운 방식으로 주목받는데, 학생과 교사의 정책 분포 불일치 문제를 체계적으로 분석하고 해결하는 구체적 방법을 제시합니다.
핵심 요약
온-폴리시 증류(OPD)는 학생이 자신의 정책으로 생성한 궤적에서 교사의 감독을 받으며 학습하는 사후 학습 패러다임으로, 학생이 생성한 궤적은 학생에게는 온-폴리시이지만 교사에게는 오프-폴리시라는 근본적 비대칭성을 가진다. 교사는 자신의 정책으로 생성한 접두사에서 연속 생성하도록 최적화되어 있으나, OPD 중에는 학생이 생성한 접두사에서 감독해야 하므로 접두사가 길어질수록 성능이 저하된다. 이를 해결하기 위해 연구팀은 SCOUT(Student-COnditioned Updates of the Teacher)라는 공동 학습 프레임워크를 제안했다. 전체 요약 6문장 읽기 → 009 12:11 ▲ 276 · 댓글 3 강화학습 모델을 학생 모델에 가르치는 새로운 방식, 표현층에서 직접 학습 기존 온-폴리시 디스틸레이션(OPD)은 학생 모델이 자신의 궤적 위에서 교사의 다음 토큰 분포를 모방하도록 훈련하며, 출력 공간에서 암묵적 보상을 외삽하여 교사를 능가하게 할 수 있다. AI · 머신러닝 · The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
Key Point 모델 증류에서 강화학습의 효과를 더 효율적으로 전달하는 새로운 방법이 제시되어, 더 작은 모델로도 큰 모델 수준의 성능을 얻을 수 있는 경로를 열어준다.
핵심 요약
기존 온-폴리시 디스틸레이션(OPD)은 학생 모델이 자신의 궤적 위에서 교사의 다음 토큰 분포를 모방하도록 훈련하며, 출력 공간에서 암묵적 보상을 외삽하여 교사를 능가하게 할 수 있다. 그러나 언어모델 헤드는 이 변화를 비등방적으로 감쇠시키며, 교사 은닉층에 인코딩된 대부분의 변화가 로짓에는 작은 가중치로만 도달하고, 출력 공간 외삽이 의존하는 샘플 토큰 로그확률 비율은 훈련 불안정성을 초래하는 노이즈를 증폭시킨다. 연구진은 강화학습이 모델의 내부 표현을 기본 체크포인트에서 변화시키고, 이 변화의 방향을 모든 층에서 측정할 수 있음을 관찰했다. 전체 요약 7문장 읽기 → 010 06:11 ▲ 287 · 댓글 5 강화학습으로 큰 언어모델 키우기, 작은 선생도 가능하다 강화학습이 대규모언어모델에 추론 능력을 부여할 수 있지만, 모델 크기가 다를 때 이 능력이 얼마나 전이되는지는 미명확했다. AI · 머신러닝 · Scaling Properties of Same-Family On-Policy Distillation
Key Point 작은 모델의 강화학습 능력이 훨씬 큰 모델로 효과적으로 전이될 수 있음을 보여주므로, 효율적인 LLM 훈련 방식을 모색하는 개발자와 연구자들에게 실질적인 지침을 제공한다.
핵심 요약
강화학습이 대규모언어모델에 추론 능력을 부여할 수 있지만, 모델 크기가 다를 때 이 능력이 얼마나 전이되는지는 미명확했다. 연구팀은 정책 증류(on-policy distillation, OPD)의 스케일링 특성을 약한 선생-강한 학생, 같은 기반-다른 크기, 강한 선생-약한 학생 구조에서 분석했다. 초기 OPD 훈련 과정에서 일관되게 '유용한 전이(useful-transfer)' 단계가 나타나며, 이 구간에서 성능(gold score)은 학생의 KL 발산의 제곱근에 거의 선형으로 증가한다. 전체 요약 7문장 읽기 → 011 15:11 ▲ 25 · 댓글 2 동영상 생성 모델의 '일괄 증류' 기술 공개 동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. AI · 머신러닝 · LongLive-Plug: Once-for-All Distillation for Video Generation
Key Point 동영상 생성 모델 특화로 인한 반복 학습 비용을 획기적으로 줄이는 기술로, 실제 배포된 54개 모델에서 검증되었기 때문에 현실성 있는 효율화 방안을 제시한다.
핵심 요약
동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. LongLive-Plug는 한 번의 학습으로 여러 모델에 재사용 가능한 기능을 LoRA로 학습하는 일괄 증류 프레임워크다. 단일 패스 분류기 없는 가이던스, 소수 단계 샘플링, 자동회귀 생성의 장기 맥락 오류 보정 기능을 제공한다. 전체 요약 8문장 읽기 → 012 12:11 ▲ 25 · 댓글 1 학생 모델이 만든 문장을 선생 모델이 계속쓰며 학습 OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. AI · 머신러닝 · Learning from Teacher Continuations at Student States
Key Point 온라인 학습과 오프라인 증류의 한계를 동시에 해결하는 새로운 증류 방식이 기존 방법 대비 더 나은 성능을 달성하는 방법론을 제시하기 때문이다.
핵심 요약
OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다. 각 반복 단계에서 학생 모델이 프리픽스를 생성하고, 선생 모델이 자동회귀로 이를 이어쓰며, 선생이 생성한 토큰에 대해 교차 엔트로피로 학생을 업데이트한다. 기존 증류 방법의 세 가지 제약을 해결한다: 고정된 선생 궤적으로 학습할 때의 순차적 공변량 시프트, 프리픽스 실패 시 단편적 감독, 선생의 토큰 확률값 접근 필요성. 전체 요약 8문장 읽기 → 013 15:11 ▲ 16 · 댓글 1 온폴리시 증류 붕괴 문제, 마지막 레이어 신호로 해결 온폴리시 증류(OPD)는 학생 모델이 생성한 응답을 교사 모델의 다음 토큰 분포로만 보정하기 때문에, 교사가 어떻게 생각하는지(잠재 상태)는 학습하지 못한다. AI · 머신러닝 · LastOPD: Taming Collapse in Latent On-Policy Distillation
Key Point 온폴리시 증류의 근본적인 붕괴 문제를 진단하고 해결한 방법론으로, 작은 모델의 효율적 학습에 직접 적용할 수 있는 실용적 개선안을 제시한다.
핵심 요약
온폴리시 증류(OPD)는 학생 모델이 생성한 응답을 교사 모델의 다음 토큰 분포로만 보정하기 때문에, 교사가 어떻게 생각하는지(잠재 상태)는 학습하지 못한다. 최신 방법인 OPRD는 학생의 잠재 상태를 교사의 잠재 상태에 정렬하는 신호를 추가하지만, 실제 실험에서 심각한 문제가 발생한다. Qwen3 모델 증류 시 초기 성능은 높았지만(MATH-500에서 25에서 46으로 올라감) 이후 10단계 후 성능이 11까지 급락하며 회복되지 않는 '조기 이득, 후기 붕괴' 현상이 나타났다. 전체 요약 7문장 읽기 → 014 03:10 ▲ 152 · 댓글 69 Y Combinator 탄, 미국도 중국처럼 모델 증류 허용해야 Y Combinator CEO 개리 탄은 중국 AI 랩의 모델 증류 행위에 규제 대신 미국도 같은 방식을 취해야 한다고 주장했다. AI · 머신러닝 · Garry Tan wants US open-weight AI labs to 'distill' frontier models, too
Key Point 중국의 모델 증류를 둘러싼 규제 요구 속에서 실리콘밸리 정상이 다른 입장을 공개한 만큼, 미국 AI 정책과 경쟁 구도의 향후 방향에 영향을 미칠 주요 논쟁이다.
핵심 요약
Y Combinator CEO 개리 탄은 중국 AI 랩의 모델 증류 행위에 규제 대신 미국도 같은 방식을 취해야 한다고 주장했다. Anthropic이 중국 랩의 무단 증류 공격을 적발했고 규제자들의 단속을 요구한 것과 달리, 탄은 소규모 미국 오픈웨이트 랩이 미국 프론티어 랩을 증류할 자유를 가져야 한다고 본다. 탄은 AI 랩이 고객이 API를 통해 얻은 정보를 어떻게 쓸지 통제하는 것이 과도하며, 프론티어 랩 역시 학습 시 저작권 자료를 무단 수집했다고 지적했다. 전체 요약 4문장 읽기 → 015 21:11 ▲ 111 · 댓글 77 AI 안전 규제론의 역설, 누가 정말 통제하나 Dario Amodei의 'AI 발전 속도 조절'(pacing the frontier) 주장에 대한 비판적 성찰이다. AI · 머신러닝 · P(doom)
Key Point AI 안전과 규제 논의가 누구의 이익을 대변하는지, 진정한 해결책이 무엇인지를 근본적으로 묻는 논문으로, 업계 주도의 규제론의 한계를 명확히 한다.
핵심 요약
Dario Amodei의 'AI 발전 속도 조절'(pacing the frontier) 주장에 대한 비판적 성찰이다. 저자는 폐쇄형 가중치 모델이 사이버 공격과 보안 위협을 만들고 있으며, OpenAI와 Anthropic이라는 두 기업이 사실상 AI 개발을 독점하고 있다고 본다. 규제 추진을 위해 제시된 METR 같은 제3의 평가기관도 결국 같은 기업들과 긴밀한 관계를 맺고 있다고 지적한다. 전체 요약 5문장 읽기 → 016 09:10 ▲ 100 · 댓글 7 90억 DNA 변이 분석하는 AI 지도 공개 Google DeepMind의 AlphaGenome 모델이 인간 게놈의 모든 90억 개 단일 문자 변이에 대한 예측을 미리 계산해 'AlphaGenome Atlas'라는 온라인 저장소로 공개했다. AI · 머신러닝 · AlphaGenome maps 9B DNA variants
Key Point DNA 변이가 유전자 조절에 미치는 영향을 대규모로 분석할 수 있게 되어 기초 생물학 연구와 질병 치료 개발을 크게 가속할 수 있다.
핵심 요약
Google DeepMind의 AlphaGenome 모델이 인간 게놈의 모든 90억 개 단일 문자 변이에 대한 예측을 미리 계산해 'AlphaGenome Atlas'라는 온라인 저장소로 공개했다. 이 아틀라스는 DNA 변이가 유전자 발현과 조절 활동에 미치는 영향을 예측하며, 과학자들이 코드를 작성하거나 모델을 직접 실행할 필요 없이 웹 인터페이스에서 조회할 수 있다. 팀은 모델 증류, GPU 커널 최적화, 중복 계산 제거 등으로 계산 속도를 80배 개선해 1페타바이트 규모의 데이터셋을 완성했다. 전체 요약 6문장 읽기 → 017 15:10 ▲ 110 · 댓글 181 Anthropic, AI 악용 사건 8건 공개…사이버 공격부터 사기까지 Anthropic 위협 인텔리전스팀이 2025년 12월부터 2026년 8월 사이 Claude를 악용한 위협 행위자들의 작전 8가지를 적발·차단했다. 보안 · Detecting and countering misuse of AI: September 2026
Key Point AI 모델의 악용이 단순한 위협이 아니라 실제 대규모 작전에서 진행 중이며, 기술 진입장벽이 무너져 국가 수준의 공격이 개인도 수행 가능해진 현실을 보여주기 때문입니다.
핵심 요약
Anthropic 위협 인텔리전스팀이 2025년 12월부터 2026년 8월 사이 Claude를 악용한 위협 행위자들의 작전 8가지를 적발·차단했다. 사이버 작전, 영향력 작전, 감시, 사기, 생물무기 개발, 재래식 무기 개발, 불법 모델 증류 등 7개 해악 영역을 다룬다. 국가후원 집단, 사이버 범죄자, 상용 스파이웨어 업체, 정치활동가 등 다양한 위협 행위자가 Claude Haiku, Sonnet, Opus 모델을 사용했다. 전체 요약 5문장 읽기 →