쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
42건 · "확산모델"조건 지우기 ×
001 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 002 12:54 ▲ 173 · 댓글 16 텍스트-이미지 AI 모델, $21K로 학습 후 공개 2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. AI · 머신러닝 · Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)
Key Point 작은 팀이 주요 클라우드 AI 회사와 비교할 수 없는 수준의 비용으로 실용적인 이미지 생성 모델을 만들고 공개했으며, 이는 확산 모델의 효율성 개선 방향을 보여준다.
핵심 요약
2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. 모델은 2.42억 개의 파라미터(학습 시 포함)를 가진 확산 모델이며, 512²에서 1024² 해상도로 단계적으로 학습했고, Qwen 3.5-4B 텍스트 인코더를 사용한다. 기존 VAE 기반 압축 대신 픽셀 공간에서 직접 작업하고 32×32 토큰 압축으로 어텐션 컨텍스트 윈도우를 4배 축소했으며, 이전 모델보다 11배 적은 샘플로 수렴한다. 전체 요약 8문장 읽기 → 003 18:13 ▲ 12 · 댓글 2 확산 모델의 4단계 생성, 속도 대립적 증류로 정확도 높인다 적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. AI · 머신러닝 · VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
Key Point 적은 샘플링 스텝에서도 높은 생성 품질을 유지하는 새로운 증류 방법이 텍스트-이미지, 텍스트-비디오 등 실용적인 생성 작업에 즉시 적용될 수 있다.
핵심 요약
적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. 흐름 일치 방식은 학생의 샘플링 과정에서 구성한 속도 필드를 통해 더 유연한 감독을 제공한다. 연구팀은 학습된 비평자를 사용해 학생과 교사의 속도 필드를 비교하고 불일치를 피드백으로 삼는 속도 대립적 증류(VAD)를 제안했다. 전체 요약 7문장 읽기 → 004 12:11 ▲ 10 · 댓글 5 기존 언어모델을 확산 모델로 변환하는 LoRA 기법 공개 자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. AI · 머신러닝 · BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
Key Point 확산 모델의 장점(병렬 토큰 업데이트, 유연한 생성)을 기존 오픈소스 언어모델에 저비용으로 적용하는 실용적 경로를 제시하며, 어댑터 학습만으로 대규모 재학습 없이 변환 가능함을 처음 증명했다.
핵심 요약
자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B 등 4개 모델에 LoRA 어댑터만으로 확산 생성 기능을 추가했으며, Mistral 모델의 AR-to-DLM 변환은 처음 보고된 사례다. 어댑터는 최종 파라미터의 4.1-5.8%만 차지하며 기본 모델 파라미터는 모두 동결된 상태로 유지된다. 전체 요약 9문장 읽기 → 005 18:11 ▲ 19 · 댓글 2 확산 모델 가속, 게이트 재구성에서 비롯된다 REPA, dispersive regularization 등 확산 트랜스포머 학습 가속 기법들이 작동하는 방식을 재검토한 논문이다. AI · 머신러닝 · No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
Key Point 확산 모델 가속의 진짜 메커니즘이 특성 구조가 아닌 잔차 게이트 재구성에서 비롯되며, 이를 정량화하고 개선하는 새로운 방법을 제시한다.
핵심 요약
REPA, dispersive regularization 등 확산 트랜스포머 학습 가속 기법들이 작동하는 방식을 재검토한 논문이다. 기존에는 추가 감독(auxiliary objectives), 공간 구조 우선순위, 개선된 특성 기하학으로 설명했으나 실제 핵심은 다르다. AdaLN-Zero 잔차 게이트 α가 가속 방법들에 의해 대폭 재구성되며, 이것이 가속의 주요 원인임을 밝혔다. 전체 요약 8문장 읽기 → 006 12:11 ▲ 11 · 댓글 2 픽셀 공간 확산 모델 학습 가속화하는 통계 기법 픽셀 공간에서 속도장(velocity field)을 직접 학습하는 것은 어렵고 느린데, 고정된 Wiener 추정값이 속도 학습을 개선하고 선형 예측 범위를 넘어 이득을 제공한다. AI · 머신러닝 · Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models
Key Point 픽셀 공간 생성 모델의 훈련 효율을 37.5% 단축할 수 있는 방법이 제시되어, 대규모 이미지 생성 모델 개발의 실질적 비용 절감에 직결된다.
핵심 요약
픽셀 공간에서 속도장(velocity field)을 직접 학습하는 것은 어렵고 느린데, 고정된 Wiener 추정값이 속도 학습을 개선하고 선형 예측 범위를 넘어 이득을 제공한다. 고정된 기저(basis)와 픽셀 디코딩도 이와 유사하면서 상호보완적인 성능 향상을 보인다. Wiener-informed Decoding(WiD)은 통계적 지식으로 직접 예측과 디코더 계산을 조직화하며, 훈련가능한 Wiener 예측 경로와 기본 디코더 블록에 특징을 주입하고 계수 보정을 반환하는 계수 인터페이스를 조합한다. 전체 요약 8문장 읽기 → 007 12:11 ▲ 46 · 댓글 2 확산 언어 모델의 추측 디코딩 가속화 기법 SPOT 제안 확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. AI · 머신러닝 · On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
Key Point 확산 언어 모델의 속도 문제를 해결하는 새로운 추측 디코딩 기법으로, 토큰 위치 순서 예측이라는 핵심 인사이트를 통해 정확성을 유지하면서 6배 이상의 가속화를 달성했으며, 학습된 드래프터가 여러 모델에 전이 가능해 실용성이 높다.
핵심 요약
확산 언어 모델(DLM)은 병렬 텍스트 생성이 가능하지만 속도-품질 트레이드오프를 겪고 있다. 정확한 디코딩은 모델 패스당 하나의 마스킹된 위치만 채우고, 빠른 멀티토큰 디코딩은 품질 손실이 발생한다. 추측 디코딩은 자동회귀 모델의 표준 가속 기법이지만 DLM에 직접 적용되지 않는데, DLM은 무엇을 생성할지뿐 아니라 어디에 생성할지를 선택해야 하기 때문이다. 전체 요약 11문장 읽기 → 008 12:11 ▲ 126 · 댓글 2 사용자 명령을 따르는 자유형 비디오 세계 모델 'Hy-Nomas' 공개 Hy-Nomas는 연속적인 사용자 명령을 따르면서 이전 상호작용 기록과 결과를 유지하는 대화형 세계 생성 모델이다. AI · 머신러닝 · Hy-Nomas: Towards Free-form Interactive World Generation
Key Point 대화형 AI 환경에서 사용자 명령을 정확히 따르면서도 과거 맥락을 유지하는 능력은 게임, 시뮬레이션, 메타버스 등 차세대 인터랙티브 콘텐츠 개발의 핵심 과제이며, 이 논문의 기술적 접근이 실제 적용에 어떻게 영향을 미칠지 주목할 필요가 있다.
핵심 요약
Hy-Nomas는 연속적인 사용자 명령을 따르면서 이전 상호작용 기록과 결과를 유지하는 대화형 세계 생성 모델이다. 80억 파라미터 규모의 확산 모델을 기반으로 자유형 텍스트 지시와 멀티턴 카메라 제어를 지원한다. 구조화된 비디오 자막과 행동 인식 인과 주의 메커니즘을 결합해 설명 맥락은 여러 세그먼트에서 접근 가능하면서 행동 명령은 해당 시간 윈도우로만 제한된다. 전체 요약 6문장 읽기 → 009 12:11 ▲ 11 · 댓글 3 확산 모델의 토큰 선택 정책, 숨은 상태와 신뢰도로 최적화 마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. AI · 머신러닝 · What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
Key Point 마스크 확산 모델의 속도 최적화는 LLM 추론 효율성 개선의 핵심 과제인데, 이 논문이 정책 설계의 구체적인 선택지(교사 신호, 입력 특성, 정책 크기)를 실험으로 검증하고 실용적인 기준(10% NFE 감소)을 제시한다.
핵심 요약
마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. 연구진은 감독 학습 정책을 디코딩 절차의 증류로 보고, 교사 모델이 어떤 예측을 확정 가능하다고 표시하는지, 정책이 어느 상태에서 이를 모방하는지, 정책이 무엇을 관찰하는지, 함수 평가 횟수(NFE) 감소분이 정책 오버헤드를 상쇄하려면 얼마인지를 독립적으로 분석했다. 최종 출력과 일치하는 예측을 확정 가능으로 표시하는 것은 NFE가 낮을 때 지나치게 허용적이며, 숨은 상태는 단독으로는 약하지만 신뢰도로 보완할 수 있다는 것을 발견했다. 전체 요약 6문장 읽기 → 010 21:11 ▲ 23 · 댓글 2 확산 모델의 단계별·작업별 양자화로 정확도 6.7%p 향상 확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다. AI · 머신러닝 · Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
Key Point 확산 모델의 양자화 시 노이즈 제거 과정의 어느 단계에서 어느 정도의 정밀도가 필요한지를 체계적으로 파악할 수 있게 되어, 모델 압축 효율과 정확도 사이의 균형을 개선할 수 있다.
핵심 요약
확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다. 연구팀은 양자화 민감도가 작업과 타이밍 두 가지에 의존하며, 각 작업마다 노이즈 제거 단계별로 필요한 정밀도가 다름을 밝혔다. 이러한 패턴은 정답 레이블이나 작업별 평가 지표 없이도 예측 가능함을 보였다. 전체 요약 5문장 읽기 → 011 12:10 ▲ 10 · 댓글 1 확산 언어 모델로 리서치 속도 6배 가속화 심화된 리서치 시스템은 계획, 증거 수집, 종합, 수정을 반복하는데 종단간 지연이 상용 활용에 큰 병목이다. AI · 머신러닝 · DiffResearch: Accelerating Deep Research with Diffusion Language Models
Key Point 자동 회귀 모델 기반의 현재 리서치 시스템이 느린 이유를 근본적으로 해결하는 대안 기술을 제시하며, 실제로 6배 속도 개선과 품질 유지를 동시에 달성했기 때문이다.
핵심 요약
심화된 리서치 시스템은 계획, 증거 수집, 종합, 수정을 반복하는데 종단간 지연이 상용 활용에 큰 병목이다. 기존 대부분의 프로덕션 시스템은 자동 회귀(AR) 언어 모델에 기반하며 좌에서 우로의 디코딩 방식을 사용한다. DiffResearch는 확산 언어 모델(dLLM)을 모든 단계의 핵심에 놓는 오픈 멀티 에이전트 리서치 프레임워크다. 전체 요약 9문장 읽기 → 012 00:11 ▲ 13 · 댓글 1 AI 에이전트, 텍스트 해석 전 숨겨진 신호로 소통 확산 언어모델(Diffusion Language Model)은 답변을 연속적인 상태들의 수열을 거쳐 생성하지만, 기존 다중 에이전트 시스템은 이 중간 상태들을 버리고 텍스트 디코딩 후에만 통신한다. AI · 머신러닝 · Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication
Key Point 기존 AI 에이전트는 텍스트만 주고받지만, 이 연구는 모델이 텍스트 생성 전 내부 신호로도 소통 가능함을 보여 멀티에이전트 시스템 설계의 근본적인 재검토를 요구한다.
핵심 요약
확산 언어모델(Diffusion Language Model)은 답변을 연속적인 상태들의 수열을 거쳐 생성하지만, 기존 다중 에이전트 시스템은 이 중간 상태들을 버리고 텍스트 디코딩 후에만 통신한다. 연구진은 한 에이전트의 확산 과정이 다른 에이전트에게 숨겨진 메시지를 전달할 수 있는지, 그리고 수신 에이전트가 실제로 그 메시지의 의미를 사용하는지 검증했다. 송신 에이전트는 노이징 제거 상태(denoising state)를 4개의 압축된 벡터로 변환하고, 수신 에이전트는 자신의 문맥과 생성 궤적을 유지하면서 이를 수용한다. 전체 요약 8문장 읽기 → 013 18:11 ▲ 22 · 댓글 2 추론 모델의 병렬 수정 기법, Draft Refinement 제안 추론 모델이 반복적으로 각 의사결정을 수정할 때, 개별적으로 타당한 토큰 업데이트가 전체 답변의 질을 보장하지 못한다는 문제를 제시한다. AI · 머신러닝 · Breaking Diffusion: Parallel Reasoning with Draft Refinement
Key Point 추론 모델에서 토큰 단위 수정을 병렬로 처리하면서도 평가의 정확성을 높이는 새로운 메커니즘을 제시해, 복잡한 문제 해결에서 계산 효율과 정확도를 동시에 개선할 수 있음을 보여준다.
핵심 요약
추론 모델이 반복적으로 각 의사결정을 수정할 때, 개별적으로 타당한 토큰 업데이트가 전체 답변의 질을 보장하지 못한다는 문제를 제시한다. Draft Refinement Language Models(DRLMs)는 단일 denoiser를 사용해 병렬 수정안을 제안하고 후보 초안을 평가하는 방식을 도입했다. Denoiser는 균등하게 손상된 초안에서 모든 토큰을 복원하도록 학습되어 보존과 수리 능력을 모두 갖춘다. 전체 요약 8문장 읽기 → 014 15:11 ▲ 37 · 댓글 2 확산 모델의 오차 누적을 잡는 보정 기법 확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. AI · 머신러닝 · Correction Training for Diffusion Models
Key Point 확산 모델의 근본적인 학습-추론 갭을 단순한 보정 기법으로 해결하고 CFG 없이도 고품질 샘플을 생성할 수 있게 됨으로써, 현재 텍스트-이미지 생성 모델의 성능 천장을 높일 수 있는 방법을 제시합니다.
핵심 요약
확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. 이런 학습-추론 갭을 줄이기 위해 보정 단계(corrector)를 도입한다: 보정 모델은 기본 모델의 예측을 입력받아 같은 정답을 목표로 학습한다. 샘플링 중 각 디노이징 단계마다 보정 모델이 예측을 반복적으로 정제하며, 중간 단계의 아티팩트가 최종 샘플로 전파되는 것을 방지한다. 전체 요약 7문장 읽기 → 015 12:11 ▲ 29 · 댓글 2 약한 모델로 강한 확산 모델 학습하기, SWIFT 논문 확산 모델 학습은 계산량이 많아서 추론 시 가이던스를 추가하면 샘플링 비용이 더 높아진다는 문제가 있다. AI · 머신러닝 · SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
Key Point 약한 모델을 활용해 더 강한 확산 모델을 절반 이하의 학습 비용으로 훈련하면서도 추론 오버헤드를 늘리지 않는 실질적인 방법이 입증되었기 때문이다.
핵심 요약
확산 모델 학습은 계산량이 많아서 추론 시 가이던스를 추가하면 샘플링 비용이 더 높아진다는 문제가 있다. SWIFT는 얼려진 약한 노이즈 제거기를 사용해 강한 모델을 개선하는 자가 가이드 학습법으로, 추론 오버헤드를 추가하지 않는다. 각 노이지 입력에 대해 약한 모델의 예측에서 멀어지도록 클린 회귀 타겟을 외삽하여, 부족하게 학습된 성분을 증폭한다. 전체 요약 9문장 읽기 → 016 12:11 ▲ 26 · 댓글 1 확산 모델 학습을 위한 견고한 토크나이저 RoAR-VAE 시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. AI · 머신러닝 · RoAR-VAE: Improving Latent Diffusability through Robust Prediction
Key Point 확산 모델 기반 이미지 생성의 핵심인 토크나이저 설계에 새로운 원칙을 제시하며, 견고한 예측으로 재구성과 생성 성능을 동시에 개선할 수 있음을 보여준다.
핵심 요약
시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. 기존 REPA-E 접근법을 다시 검토한 결과, 확산 목적과 전용 생성 블록을 제거하고 손상된 잠재에서의 의미론적 예측만 유지해도 유사한 생성 성능을 낸다. 이를 바탕으로 '견고한 예측' 원칙을 제시한다: 생성에 필요한 정보가 손상된 잠재에서도 복구 가능해야 한다. 전체 요약 6문장 읽기 → 017 06:11 ▲ 180 · 댓글 75 확산 기반 LLM 머큐리 3 공개, 초당 1000+ 토큰 처리 확산(Diffusion) 기반 LLM인 머큐리 3를 공개했으며, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 능가하면서 4~8배 빠른 초당 1,068 토큰을 처리한다. AI · 머신러닝 · Mercury 3: Diffusion at scale
Key Point 확산 기반 LLM이 자동회귀 모델과의 경쟁에서 확장 가능함을 증명하는 첫 번째 상용 사례로, 실시간 AI 애플리케이션의 지연 시간 문제를 해결할 수 있다.
핵심 요약
확산(Diffusion) 기반 LLM인 머큐리 3를 공개했으며, 여러 벤치마크에서 GPT-6 Luna와 Claude Haiku 5.5를 능가하면서 4~8배 빠른 초당 1,068 토큰을 처리한다. 머큐리 1 대비 40배 이상 모델 파라미터를 확대했으며, 벤치마크 기준 지능 수준은 3배 향상됐다. 문맥 길이는 260K에서 100만 토큰으로 확장했고, 입출력 토큰당 각각 0.20달러, 0.70달러이며 출시 초기에는 50% 할인(입력 0.10달러, 출력 0.35달러)을 제공한다. 전체 요약 10문장 읽기 → 018 15:11 ▲ 23 · 댓글 2 확산 모델 강화학습을 위한 라우팅 정책 최적화 기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. AI · 머신러닝 · Routing Policy Optimization for Online Diffusion Reinforcement Learning
Key Point 생성 모델을 보상 신호로 정렬할 때 훈련 효율을 4배 향상시키면서도 추론 시 모델의 원래 특성을 유지하는 새로운 강화학습 기법이 제시되어, 확산 모델 최적화의 실질적 한계를 해결한다.
핵심 요약
기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. Routing Policy Optimization (RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 변환하여 이를 답한다. 선택된 몇 개의 디노이징 단계에서 각 쿼리 블록은 자신의 블록을 유지하면서 생성 모델의 자연스러운 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지한다. 전체 요약 9문장 읽기 → 019 15:11 ▲ 79 · 댓글 2 텍스트-이미지 생성을 위한 의미 기반 프롬프트 최적화 SCOPE 제안 강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. AI · 머신러닝 · SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation
Key Point 프롬프트의 의미 구조를 직접 활용하는 강화학습 방식으로 텍스트-이미지 생성 품질을 개선하는 새로운 접근법을 제시한다.
핵심 요약
강화학습(RL)을 통해 언어모델이 고정된 이미지 생성기를 위해 프롬프트를 개선하는 방법을 제시한다. 기존 방식은 이미지에서 단일 신호를 개별 서브워드 토큰에 적용하지만, 객체·수량·속성·관계 등이 의미있는 범위를 형성한다는 점을 간과한다. SCOPE는 Group Relative Policy Optimization(GRPO)을 기반으로 업데이트 가중치를 이러한 구조와 정렬시키는 목적함수를 제안한다. 전체 요약 6문장 읽기 → 020 12:11 ▲ 15 · 댓글 2 Few-Step 확산 모델, 간단한 회귀만으로 빠르게 확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다. AI · 머신러닝 · Simplifying and Improving On-Policy Distillation for Few-Step Diffusion
Key Point 복잡한 별도 모듈 없이 기본 회귀로 few-step 생성의 품질을 올릴 수 있다면, 실제 배포 환경에서 확산 모델의 속도를 크게 개선하려는 팀들에게 직접적인 영향을 줄 것이다.
핵심 요약
확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다. 교사 모델의 각 구간 내 속도 변화를 표현하기 위해 학생의 구간 평균 예측에서 국소 보정을 분리하는 학습 전용 잔차 프록시 Pivot을 도입했다. 학생을 약한 교사 예측으로부터 멀어지게 하는 메커니즘을 추가해 원하지 않는 모드 회피를 돕는다. 전체 요약 7문장 읽기 → 021 00:11 ▲ 45 · 댓글 2 극한 압축으로 확산 모델 가속화하는 APEX 등장 확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. AI · 머신러닝 · APEX: Asynchronous Prefix Denoising for Extreme Compression
Key Point 확산 모델의 토큰 수를 획기적으로 줄이면서도 생성 품질을 유지할 수 있는 방법으로, 추론 속도와 비용에 민감한 생성형 AI 서비스 개발에 직접 영향을 미친다.
핵심 요약
확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. APEX는 계층적 레이턴시 공간과 채널 그룹별 비동기 디노이징을 결합한 새로운 방식이다. 오토인코더가 채널 프리픽스를 구조에서 세부사항 순서로 정렬하고, 공유된 단일 디노이저가 토큰을 추가하지 않고 엇갈린 시간에 생성한다. 전체 요약 6문장 읽기 → 022 15:11 ▲ 50 · 댓글 1 확산 모델이 외부 도움 없이 자신을 개선하는 법 기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. AI · 머신러닝 · SALD: Self-Referenced Advantage Learning for Diffusion Models
Key Point 확산 모델의 학습을 더 효율적으로 만들 수 있는 새로운 기법으로, 추가 모델이나 파라미터 없이 모델 자신의 내부 신호만으로 성능을 개선할 수 있다는 점이 의미 있다.
핵심 요약
기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. SALD는 같은 모델으로 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크다. 낮은 노이즈 경로는 그래디언트 추적 없이 평가되어 참조값을 제공하고, 높은 노이즈 경로는 학습 그래디언트를 생성한다. 전체 요약 8문장 읽기 → 023 12:11 ▲ 33 · 댓글 2 확률 분포 일치로 보정 없이 확산 언어모델 양자화 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. AI · 머신러닝 · SoloQ: Calibration-Free Quantization for Diffusion Language Models
Key Point 확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다. SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다. 전체 요약 8문장 읽기 → 024 06:11 ▲ 14 · 댓글 2 픽셀 공간 확산 모델, 잠재 공간 모델과 동등한 성능 보여 픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. AI · 머신러닝 · Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
Key Point 픽셀 공간 확산 모델이 세밀한 디테일 작업에서 잠재 공간 모델을 이길 것이라는 기대와 달리 실제로는 동등한 성능만 낸 이유를 알 수 있고, 픽셀 공간 사전학습의 한계와 가능성을 실증적으로 보여준다.
핵심 요약
픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. 3B 매개변수 규모의 Iris-3B 픽셀 공간 텍스트-이미지 트랜스포머를 256→512→1024 커리큘럼으로 처음부터 학습했고, 또한 FLUX.2 Klein 4B 잠재 모델을 픽셀 공간으로 변환했다. 두 모델 모두 단안 깊이 추정과 이미지 복원/초해상화 작업에 미세조정했으나, 픽셀 공간 생성 사전에서 의미 있는 성능 향상을 발견하지 못했다. 전체 요약 6문장 읽기 → 025 21:11 ▲ 104 · 댓글 36 금융 시장 데이터를 생성 모델로 합성할 수 있을까 Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. AI · 머신러닝 · Can you use autoregressive diffusion to generate market data?
Key Point 시장 데이터를 직접 합성하는 생성 모델은 기존의 포인트 추정 방식과 달리 시장 미시구조의 구체적 이벤트까지 재현할 수 있어, 량자펀드의 백테스팅과 리스크 시뮬레이션 방법을 근본적으로 바꿀 수 있는 가능성을 보여준다.
핵심 요약
Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. 기존 예측 모델과 달리 가격 뿐 아니라 주문 타이밍, 취소, 체결 같은 구체적 이벤트까지 합성하는 모델을 목표로 했다. 시장 데이터는 이산적(주문 추가/제거)이면서도 연속적(가격, 타이밍 같은 고차원 변수)인 혼합 특성을 갖고 있어 모델링이 복잡하다. 전체 요약 10문장 읽기 → 026 15:13 ▲ 24 · 댓글 3 깊이 추정 없이 카메라 관점 변환 비디오 생성 외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. AI · 머신러닝 · LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation
Key Point 깊이 추정 단계를 제거하면서도 비디오 생성 품질을 높이는 새로운 접근법으로, 구조 정렬과 세부 복원의 역할 분담 방식이 확산 모델의 특성과 어떻게 부합하는지 보여준다.
핵심 요약
외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. 기존 최첨단 방식은 깊이를 추정해 포인트 클라우드로 변환한 후 자아중심 카메라 관점에서 재렌더링하고, 이를 비디오 확산 모델의 조건으로 사용한다. 그러나 이 결정론적 매핑은 각 픽셀을 한 위치에만 할당하므로 깊이 오류가 콘텐츠 배치 오류로 전파되고, 텍스처는 보존되지만 정확도가 떨어진다. 전체 요약 9문장 읽기 → 027 03:11 ▲ 10 · 댓글 2 텍스트-이미지 생성 모델에 에이전트 지식 직접 조각내기 텍스트-이미지 생성 모델을 에이전트 프레임워크로 감싸면 프롬프트 반복 개선과 검증을 통해 생성 품질이 향상되지만, 이런 이득이 모델 가중치에 내재되지 않아 에이전트가 실행될 때만 효과가 발휘된다. AI · 머신러닝 · Internalizing Agent Experience into Diffusion Model Weights via On-Policy Context Distillation
Key Point 이미지 생성 품질을 높이는 에이전트 능력을 모델 자체에 영구적으로 내재시켜 일반 사용자도 원본 쿼리만으로 개선된 이미지를 받을 수 있게 하는 새로운 접근 방식이다.
핵심 요약
텍스트-이미지 생성 모델을 에이전트 프레임워크로 감싸면 프롬프트 반복 개선과 검증을 통해 생성 품질이 향상되지만, 이런 이득이 모델 가중치에 내재되지 않아 에이전트가 실행될 때만 효과가 발휘된다. 논문은 Diffusion On-Policy Context Distillation(D-OPCD)를 제안하는데, 에이전트가 개선한 프롬프트를 특권 정보로 삼아 에이전트의 능력을 확산 모델 가중치로 직접 압축하는 방식이다. Auto Skill Evolver(ASE)라는 텍스트-이미지 에이전트를 사용해 D-OPCD를 실험한 결과, 원본 쿼리만으로 생성했을 때 평균 점수가 60.52에서 65.09로 상승했다(4개 벤치마크 기준). 전체 요약 5문장 읽기 → 028 18:33 ▲ 21 · 댓글 1 확산 언어모델의 토큰 단위 특성 정렬로 생성 품질 개선 확산 언어모델(DLM) 사후학습을 위해 생성된 분포와 참조 분포 간 최대평균편차(MMD)를 토큰 단위의 특성 공간에서 최소화하는 방법을 제안했다. AI · 머신러닝 · Representation-Space MMD for Diffusion Language Models
Key Point 확산 기반 언어모델의 생성 품질을 토큰 단위로 정렬하는 효율적인 방법으로, 별도의 샘플링 완성이나 보조 모델 없이 대규모 모델의 추론 속도와 정확도를 동시에 개선할 수 있다는 점이 중요하다.
핵심 요약
확산 언어모델(DLM) 사후학습을 위해 생성된 분포와 참조 분포 간 최대평균편차(MMD)를 토큰 단위의 특성 공간에서 최소화하는 방법을 제안했다. 개별 토큰 위치의 맥락 특성을 유지하여 한 번의 특성 추출으로 여러 관찰 샘플을 얻으므로 효율적이다. 이산 모델은 정책 기울기를, 연속 모델은 생성된 잠재변수에 대한 직접 미분을 통해 최적화한다. 전체 요약 6문장 읽기 → 029 18:35 ▲ 60 · 댓글 2 토큰 난이도에 맞춰 계산 할당하는 확산형 언어모델 ALoDLM 확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. AI · 머신러닝 · ALoDLM: Adaptively Looped Diffusion Language Models
Key Point 기존 확산형 언어모델의 품질 격차 원인을 토큰 난이도 측면에서 처음으로 진단하고, 적응형 계산 할당으로 해결한 새로운 접근법이 표준 모델들을 능가했기 때문이다.
핵심 요약
확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. 논문은 이 격차의 원인을 계산-난이도 불일치로 분석했다. 부분적으로 관찰된 수열 내에서 일부 미지의 토큰은 쉽게 예측되지만 다른 토큰은 훨씬 더 많은 계산이 필요하다. 기존 DLM은 각 노이즈 제거 단계에서 모든 미지 위치에 동일한 계산 깊이를 적용한다. 전체 요약 9문장 읽기 → 030 18:35 ▲ 35 · 댓글 2 장시간 영상 생성 시 표현 붕괴 문제 해결 기법 제시 자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. AI · 머신러닝 · In-Distribution Forcing for Long Video Generation at Test Time
Key Point 자동회귀 비디오 생성 모델의 장시간 생성에서 흔히 발생하는 표현 붕괴 문제를 근본적으로 해결하는 방식을 제시하며, 분당 단위 길이의 영상 생성을 가능하게 한다.
핵심 요약
자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. 기존 방식은 KV 조건화(캐시된 키-밸류 항목 선택·수정)로 드리프팅을 완화하려 했으나, 훈련 범위를 초과하면 캐시 항목 자체가 분포 외(OOD)가 되는 KV-provenance 문제가 발생한다. 이를 해결하기 위해 In-Distribution Forcing(ID-Forcing)을 제시하는데, 이는 KV 캐싱과 조건화를 훈련 설정과 정렬시키는 테스트타임 프레임워크다. 전체 요약 6문장 읽기 → 031 18:11 ▲ 52 · 댓글 2 마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. AI · 머신러닝 · Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Key Point 마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다. Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다. 전체 요약 5문장 읽기 → 032 12:11 ▲ 19 · 댓글 2 의미·기하 구조 동시 학습, 픽셀 확산 모델 성능 끌어올리다 Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다. AI · 머신러닝 · PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
Key Point 의미 정보와 기하 정보를 분리해 학습하는 구조적 혁신으로 텍스트-이미지 생성부터 이미지 편집까지 여러 작업에서 동시에 성능을 끌어올렸으며, 전통적 단일 정렬 방식의 한계를 넘었다.
핵심 요약
Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다. 최근 분석이 정렬 효과의 핵심이 의미 정보가 아닌 공간 구조(spatial structure)임을 지적했으나, 그러한 구조를 예측하도록 훈련된 기초 모델들은 간과되어 왔다. 픽셀 공간 확산에서 SAM2, Depth Anything v2, Metric3D v2는 DINOv2 단독 기준보다 우수하며, 특히 기하 정보를 학습하는 모델들이 분할 모델을 앞선다. 전체 요약 10문장 읽기 → 033 21:11 ▲ 60 · 댓글 2 적응형 전문가 혼합으로 확산 모델의 소수 단계 생성 개선 마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다. AI · 머신러닝 · E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
Key Point 확산 모델의 가장 큰 장점인 소수 단계 고속 생성을 개선하는 새로운 방법으로, 기존 접근법의 근본적인 문제(후방 붕괴)를 회피하면서 매개변수 효율성을 유지한다.
핵심 요약
마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다. 최근 연구는 위치 간 상관관계를 포착하기 위해 변분 자동인코더로 학습된 연속 가우시안 잠재변수를 도입했으나, 이러한 접근법은 잠재변수가 무시되는 후방 붕괴(posterior collapse) 문제에 빠지기 쉽다. 본 논문은 강화된 혼합-전문가(E-MoE) 방법을 제안하며, MoE 백본의 전문가 라우팅 결정으로 주어진 이산 공유 잠재변수에 대한 분해된 분포의 혼합으로 역프로세스를 구성한다. 전체 요약 5문장 읽기 → 034 12:11 ▲ 49 · 댓글 2 확산형 언어모델을 위한 텍스트 임베딩 최적화 자기회귀 모델의 대안으로 주목받는 확산 언어모델(DLM)은 연속 텍스트 임베딩의 잠재공간에서 생성을 수행한다. AI · 머신러닝 · Scaling and Distilling Text Embeddings for Better Diffusibility
Key Point 확산형 언어모델이 자기회귀 방식의 성능에 접근하기 위해서는 어떤 임베딩 공간이 최적인지 밝혀지지 않았는데, 이 연구가 스케일링과 증류 기법으로 그 해답을 제시한다.
핵심 요약
자기회귀 모델의 대안으로 주목받는 확산 언어모델(DLM)은 연속 텍스트 임베딩의 잠재공간에서 생성을 수행한다. 연구팀은 T5 계열 임베딩을 T5Gemma-1, T5Gemma-2로 확대했을 때 생성 성능이 크게 향상됨을 발견했다. 그러나 T5Gemma-2는 너무 판별력이 강해서 유사한 단어들의 임베딩까지 멀리 떨어져 있어, 샘플링 오류 시 유효한 임베딩을 찾지 못하는 문제가 발생한다. 전체 요약 7문장 읽기 → 035 12:11 ▲ 124 · 댓글 2 동영상 생성 AI의 음성-영상 동기화를 위한 적응형 보상 라우팅 기법 오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. AI · 머신러닝 · Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
Key Point 음성-영상 생성 AI의 동기화와 품질을 동시에 높이는 새로운 최적화 기법으로, 여러 목표가 충돌할 때 동적으로 가중치를 조정하는 방식이 향후 멀티모달 생성 모델 개선의 방향을 제시한다.
핵심 요약
오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. 논문은 Adaptive Reward Routing이라는 새로운 방법을 제안하며, 이는 음성 품질, 영상 품질, 교차-모달 의미 일치, 시간적 동기화 등 여러 목표를 동시에 최적화한다. 첫 번째 구성 요소는 Cross-Modal Influence-Guided Routing으로, 양방향 교차-주의 응답을 이용해 변화하는 모달 간 영향을 추적하면서 토큰별 손실을 동적으로 재가중화하고 그래디언트를 조정한다. 전체 요약 6문장 읽기 → 036 12:11 ▲ 79 · 댓글 2 토큰 독립성 문제 해결한 계층형 연속 확산 언어모델 이산 확산 언어모델은 양방향 추론과 전역 제약 만족이 필요한 작업에서 자기회귀 생성의 대안이 되지만, 병렬 디코딩 시 각 토큰을 독립적으로 샘플링하면서 토큰 간 통계적 의존성을 끊는 구조적 병목을 공유한다. AI · 머신러닝 · Hierarchical Continuous Diffusion Language Models
Key Point 병렬 디코딩에서 토큰 간 의존성을 보존하면서도 전역 제약을 만족시키는 방식으로 확산 언어모델의 핵심 구조적 문제를 해결했기에, 생성 모델의 근본적인 설계 변화로 관심을 끈다.
핵심 요약
이산 확산 언어모델은 양방향 추론과 전역 제약 만족이 필요한 작업에서 자기회귀 생성의 대안이 되지만, 병렬 디코딩 시 각 토큰을 독립적으로 샘플링하면서 토큰 간 통계적 의존성을 끊는 구조적 병목을 공유한다. 연속 확산 언어모델은 공유 연속 상태를 노이징하여 이를 피하지만, 노이저가 그 상태만 보므로 최종 디코딩까지 유효한 토큰 구성과의 연결고리가 없다. HC-DLM(Hierarchical Continuous Diffusion Language Models)은 이산 토큰 생성과 연속 잠재 궤적을 단일의 원칙적인 노이징 제거 과정으로 결합하며, 훈련 목적은 토큰 우도에 대한 변분 경계에서 유도된다. 전체 요약 6문장 읽기 → 037 15:11 ▲ 35 · 댓글 2 고압축·고속학습 이미지생성 모델, DC-SAE 공개 이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. AI · 머신러닝 · DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence
Key Point 고압축 토크나이저는 대규모 이미지 생성 모델의 학습 효율을 좌우하는데, DC-SAE가 압축률과 학습 속도 양쪽을 동시에 개선하는 방법을 제시한다.
핵심 요약
이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. 기존 의미 기반 오토인코더는 중간 수준 압축에만 제한되고 픽셀 수준의 세부정보를 잃어 정확한 복원이 어렵다. DC-SAE는 의미 기반 인코더로 높은 압축을 가능하게 하고, 픽셀 수준 인코더로 저수준 세부정보를 보존한다. 전체 요약 6문장 읽기 → 038 15:11 ▲ 42 · 댓글 2 마스크형 확산 모델, 언제 전략 바꿀까 마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다. AI · 머신러닝 · Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
Key Point 마스크형 확산 모델의 생성 과정에서 어떤 상황에서 추론 전략을 동적으로 바꿔야 효율적인지를 실증적으로 규명해, 모델 최적화의 실질적 가이드라인을 제시한다.
핵심 요약
마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다. 스코어·카디널리티·영역·커미트먼트·플래닝 5개 축으로 MDM 추론을 분류하고, 고정된 선택보다 더 나은 행동의 한 단계 효용 차이를 '적응 기회'로 정의했다. 3개 MDM과 10개 테스크를 검증한 결과, 적응 기회는 매우 이질적이며 일부 상황에서는 집중된 예측 가능한 일단계 이득을 보였다. 전체 요약 5문장 읽기 → 039 15:11 ▲ 247 · 댓글 3 멀티모달 AI가 자기 피드백으로 스스로 성장하는 방법 현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. AI · 머신러닝 · UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
Key Point 외부 감독 없이 AI 모델이 자신의 비판적 피드백으로 스스로 개선되는 메커니즘을 제시해, 모델 성능 향상의 새로운 가능성을 보여준다.
핵심 요약
현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. UniEvo-VL은 이러한 능력을 활용해 모델이 테스트 타임에 자기수정 피드백으로부터 배우도록 하는 자기진화 프레임워크다. 별도의 큰 교사 모델에 의존하는 대신, 단일 멀티모달 모델이 서로 다른 맥락에서 교사와 학생 역할을 동시에 수행한다. 전체 요약 8문장 읽기 → 040 15:11 ▲ 23 · 댓글 1 LLM 정렬을 위한 확산 기반 보상 모델 등장 기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. AI · 머신러닝 · Diffusion Reward Models
Key Point 인간의 다양한 판단 방식을 반영하는 새로운 보상 모델이 RLHF 학습에서 성능 개선을 직접 입증했기 때문에, LLM 정렬 연구에 실질적 영향을 미칠 수 있다.
핵심 요약
기존 보상 모델은 각 프롬프트-응답 쌍을 단일 점 추정값이나 고정된 분포로 축소하지만, 인간 선호도는 본질적으로 다중모달이다—같은 응답이 여러 방식으로 합리적으로 평가될 수 있다. 이를 해결하기 위해 Diffusion Reward Model(DRM)을 제안하며, 이는 보상 모델링을 조건부 밀도 추정 문제 p(r|x,y)로 재구성한다. DRM은 동결된 LLM 인코더를 기반으로 경량 Diffusion Transformer가 가우시안 노이즈를 보상 벡터로 제거(denoising)하며, 출력 분포에 대한 매개변수 가정 없이 자연스럽게 다중모달 구조를 표현한다. 전체 요약 8문장 읽기 → 041 22:26 ▲ 13 · 댓글 2 사전학습 확산 모델로 스트리밍 비디오 실시간 편집 SVEET은 사전학습된 양방향 비디오 확산 모델을 활용하면서 자회귀 방식으로 고품질 스트리밍 비디오 편집을 지원하는 프레임워크다. AI · 머신러닝 · Streaming Video Editing with Easy Adaptation
Key Point 비디오 편집의 실시간 스트리밍 처리가 GPU 한 개에서 15 FPS로 구현되면서 실제 응용 가능성이 높아졌으며, 사전학습 모델 활용으로 학습 비용을 줄인 점이 산업 적용의 진입장벽을 낮춘다.
핵심 요약
SVEET은 사전학습된 양방향 비디오 확산 모델을 활용하면서 자회귀 방식으로 고품질 스트리밍 비디오 편집을 지원하는 프레임워크다. 기존 비디오-투-비디오 확산 방식을 재검토해 스트리밍 적응의 두 가지 핵심 원칙을 도출했다: 백본 특징 분리와 조건부 프레임 독립성. 보조 모델 브랜치가 시간 독립적 자기 주의로 소스 비디오를 인코딩하고, 중간 특징을 백본 블록에 주입해 스트리밍 호환 제어를 구현한다. 전체 요약 6문장 읽기 → 042 15:11 ▲ 25 · 댓글 2 비디오 확산 모델이 물리법칙을 위반하는 이유 텍스트-투-비디오 확산 모델이 우수한 화질에도 불구하고 현실 물리법칙을 위반하는 영상을 생성한다. AI · 머신러닝 · Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms
Key Point 비디오 생성 AI의 핵심 약점인 물리법칙 위반을 어텐션 메커니즘 수준에서 진단하고, 모델 재설계 없이 적용 가능한 경량 해법을 제시한다.
핵심 요약
텍스트-투-비디오 확산 모델이 우수한 화질에도 불구하고 현실 물리법칙을 위반하는 영상을 생성한다. 연구팀이 모션 계획 과정을 분석해 초기 노이징 제거 단계에서 동작 궤적이 형성되는 방식을 규명했다. Rotary Position Embedding(RoPE)이 과도한 공간 주의 감소를 야기해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되는 것을 발견했다. 전체 요약 5문장 읽기 →