쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 30일 (수)까지1383건
7건 · "모델 증류"조건 지우기 ×
001▲ 13 · 댓글 1동영상 생성 모델의 '일괄 증류' 기술 공개동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다.AI · 머신러닝 · LongLive-Plug: Once-for-All Distillation for Video Generation
동영상 생성 모델의 '일괄 증류' 기술 공개
Key Point동영상 생성 모델 특화로 인한 반복 학습 비용을 획기적으로 줄이는 기술로, 실제 배포된 54개 모델에서 검증되었기 때문에 현실성 있는 효율화 방안을 제시한다.
핵심 요약
- 동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다.
- LongLive-Plug는 한 번의 학습으로 여러 모델에 재사용 가능한 기능을 LoRA로 학습하는 일괄 증류 프레임워크다.
- 단일 패스 분류기 없는 가이던스, 소수 단계 샘플링, 자동회귀 생성의 장기 맥락 오류 보정 기능을 제공한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Learning from Teacher Continuations at Student States
학생 모델이 만든 문장을 선생 모델이 계속쓰며 학습
Key Point온라인 학습과 오프라인 증류의 한계를 동시에 해결하는 새로운 증류 방식이 기존 방법 대비 더 나은 성능을 달성하는 방법론을 제시하기 때문이다.
핵심 요약
- OLIVE(온라인 인터벤션)라는 온라인 언어 모델 증류 방법을 제시한다.
- 각 반복 단계에서 학생 모델이 프리픽스를 생성하고, 선생 모델이 자동회귀로 이를 이어쓰며, 선생이 생성한 토큰에 대해 교차 엔트로피로 학생을 업데이트한다.
- 기존 증류 방법의 세 가지 제약을 해결한다: 고정된 선생 궤적으로 학습할 때의 순차적 공변량 시프트, 프리픽스 실패 시 단편적 감독, 선생의 토큰 확률값 접근 필요성.
전체 요약 8문장 읽기 →AI · 머신러닝 · LastOPD: Taming Collapse in Latent On-Policy Distillation
온폴리시 증류 붕괴 문제, 마지막 레이어 신호로 해결
Key Point온폴리시 증류의 근본적인 붕괴 문제를 진단하고 해결한 방법론으로, 작은 모델의 효율적 학습에 직접 적용할 수 있는 실용적 개선안을 제시한다.
핵심 요약
- 온폴리시 증류(OPD)는 학생 모델이 생성한 응답을 교사 모델의 다음 토큰 분포로만 보정하기 때문에, 교사가 어떻게 생각하는지(잠재 상태)는 학습하지 못한다.
- 최신 방법인 OPRD는 학생의 잠재 상태를 교사의 잠재 상태에 정렬하는 신호를 추가하지만, 실제 실험에서 심각한 문제가 발생한다.
- Qwen3 모델 증류 시 초기 성능은 높았지만(MATH-500에서 25에서 46으로 올라감) 이후 10단계 후 성능이 11까지 급락하며 회복되지 않는 '조기 이득, 후기 붕괴' 현상이 나타났다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Garry Tan wants US open-weight AI labs to 'distill' frontier models, too
Y Combinator 탄, 미국도 중국처럼 모델 증류 허용해야
Key Point중국의 모델 증류를 둘러싼 규제 요구 속에서 실리콘밸리 정상이 다른 입장을 공개한 만큼, 미국 AI 정책과 경쟁 구도의 향후 방향에 영향을 미칠 주요 논쟁이다.
핵심 요약
- Y Combinator CEO 개리 탄은 중국 AI 랩의 모델 증류 행위에 규제 대신 미국도 같은 방식을 취해야 한다고 주장했다.
- Anthropic이 중국 랩의 무단 증류 공격을 적발했고 규제자들의 단속을 요구한 것과 달리, 탄은 소규모 미국 오픈웨이트 랩이 미국 프론티어 랩을 증류할 자유를 가져야 한다고 본다.
- 탄은 AI 랩이 고객이 API를 통해 얻은 정보를 어떻게 쓸지 통제하는 것이 과도하며, 프론티어 랩 역시 학습 시 저작권 자료를 무단 수집했다고 지적했다.
전체 요약 4문장 읽기 →AI · 머신러닝 · P(doom)
AI 안전 규제론의 역설, 누가 정말 통제하나
Key PointAI 안전과 규제 논의가 누구의 이익을 대변하는지, 진정한 해결책이 무엇인지를 근본적으로 묻는 논문으로, 업계 주도의 규제론의 한계를 명확히 한다.
핵심 요약
- Dario Amodei의 'AI 발전 속도 조절'(pacing the frontier) 주장에 대한 비판적 성찰이다.
- 저자는 폐쇄형 가중치 모델이 사이버 공격과 보안 위협을 만들고 있으며, OpenAI와 Anthropic이라는 두 기업이 사실상 AI 개발을 독점하고 있다고 본다.
- 규제 추진을 위해 제시된 METR 같은 제3의 평가기관도 결국 같은 기업들과 긴밀한 관계를 맺고 있다고 지적한다.
전체 요약 5문장 읽기 →AI · 머신러닝 · AlphaGenome maps 9B DNA variants
90억 DNA 변이 분석하는 AI 지도 공개
Key PointDNA 변이가 유전자 조절에 미치는 영향을 대규모로 분석할 수 있게 되어 기초 생물학 연구와 질병 치료 개발을 크게 가속할 수 있다.
핵심 요약
- Google DeepMind의 AlphaGenome 모델이 인간 게놈의 모든 90억 개 단일 문자 변이에 대한 예측을 미리 계산해 'AlphaGenome Atlas'라는 온라인 저장소로 공개했다.
- 이 아틀라스는 DNA 변이가 유전자 발현과 조절 활동에 미치는 영향을 예측하며, 과학자들이 코드를 작성하거나 모델을 직접 실행할 필요 없이 웹 인터페이스에서 조회할 수 있다.
- 팀은 모델 증류, GPU 커널 최적화, 중복 계산 제거 등으로 계산 속도를 80배 개선해 1페타바이트 규모의 데이터셋을 완성했다.
전체 요약 6문장 읽기 →보안 · Detecting and countering misuse of AI: September 2026
Anthropic, AI 악용 사건 8건 공개…사이버 공격부터 사기까지
Key PointAI 모델의 악용이 단순한 위협이 아니라 실제 대규모 작전에서 진행 중이며, 기술 진입장벽이 무너져 국가 수준의 공격이 개인도 수행 가능해진 현실을 보여주기 때문입니다.
핵심 요약
- Anthropic 위협 인텔리전스팀이 2025년 12월부터 2026년 8월 사이 Claude를 악용한 위협 행위자들의 작전 8가지를 적발·차단했다.
- 사이버 작전, 영향력 작전, 감시, 사기, 생물무기 개발, 재래식 무기 개발, 불법 모델 증류 등 7개 해악 영역을 다룬다.
- 국가후원 집단, 사이버 범죄자, 상용 스파이웨어 업체, 정치활동가 등 다양한 위협 행위자가 Claude Haiku, Sonnet, Opus 모델을 사용했다.
전체 요약 5문장 읽기 →