쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
82건 · "확산 모델"조건 지우기 ×
001 03:11 ▲ 30 · 댓글 2 대규모 모델도 11배 빠르게 양자화하는 MACaQ 기법 Weight-activation 양자화는 신경망 추론의 메모리와 계산 비용을 줄일 수 있지만, 기존 방식들은 비용이 많이 드는 최적화와 아키텍처별 복잡한 변환을 거쳐야 했다. AI · 머신러닝 · MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
Key Point 대규모 모델 양자화의 병목인 오버헤드와 시간을 획기적으로 줄이면서 다양한 아키텍처에 공통 적용 가능해, 효율적인 모델 배포에 실질적 영향을 줄 수 있는 기술이다.
핵심 요약
Weight-activation 양자화는 신경망 추론의 메모리와 계산 비용을 줄일 수 있지만, 기존 방식들은 비용이 많이 드는 최적화와 아키텍처별 복잡한 변환을 거쳐야 했다. MACaQ는 MXFP4 W4A4 포스트트레이닝 양자화 방법으로, 각 선형 계층을 독립적으로 처리한다. 채널별 스케일과 블록-하다마드 변환을 각 계층의 활성화에 온라인으로 적용하고, 역변환을 가중치에 흡수시켜 계층 간 의존성을 제거한다. 전체 요약 8문장 읽기 → 002 00:11 ▲ 18 · 댓글 3 음성 생성 통합 엔드투엔드 프레임워크 WaveGen 공개 WaveGen은 확산 모델 기반의 완전 엔드투엔드 텍스트-파형 생성 프레임워크로, 스펙트럼 강제(Spectral Forcing) 기법으로 내부 스펙트럼 궤적과 대상 파형 궤적을 단일 모델에서 동시 학습한다. AI · 머신러닝 · WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
Key Point 기존 음성 합성 파이프라인의 복잡한 멀티스테이지 구조를 완전히 통합하고 외부 모듈 의존성을 제거한 진정한 엔드투엔드 모델로, 음성 생성 시스템의 단순화 가능성을 보여준다.
핵심 요약
WaveGen은 확산 모델 기반의 완전 엔드투엔드 텍스트-파형 생성 프레임워크로, 스펙트럼 강제(Spectral Forcing) 기법으로 내부 스펙트럼 궤적과 대상 파형 궤적을 단일 모델에서 동시 학습한다. 신경 오디오 코덱, 멜-스펙트로그램 보코더, VAE 기반 잠재 모델 등 별도 학습된 중간 표현에 의존하지 않으며, 지속시간 예측기 같은 외부 정렬 모듈 없이 모델 내부에서 텍스트-음성 정렬을 수행한다. BERT 기반 텍스트 임베딩, Wav2Vec 2.0 기반 의미 표현, 의미 증류 같은 자기지도 표현 의존성도 제거해 진정한 엔드투엔드 구조를 유지한다. 전체 요약 7문장 읽기 → 003 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 004 18:15 스타 1,120 이미지 한 장으로 3D 장면을 만드는 웹 스튜디오 이미지 기반 3D 장면 생성 시스템으로, 참고 이미지와 텍스트 프롬프트를 입력하면 카메라 궤적을 따라 미리보기·재생·추적 가능한 3D 장면을 생성한다. 웹 · 프론트엔드 · deepopen-com/deepopen-3d-webs · Python
Key Point 단일 이미지에서 공간 탐색이 가능한 3D 장면을 브라우저에서 바로 생성·편집할 수 있는 완전한 스튜디오를 갖춘 도구로, 제품 개념화부터 3D 자산 제작까지 워크플로우를 단순화한다.
핵심 요약
이미지 기반 3D 장면 생성 시스템으로, 참고 이미지와 텍스트 프롬프트를 입력하면 카메라 궤적을 따라 미리보기·재생·추적 가능한 3D 장면을 생성한다. 확산 모델(SD1.5, Blazing Drive V11m, Realistic Vision V5.1, Cartoon Pixar V5)과 카메라 궤적(Look Around, Overhead Orbit, Spin in Place 360), 렌더링 궤적(Push In and Out, Classic Orbit, Subtle Sway)을 선택하여 한 번에 생성할 수 있다. 깊이 추정(ZoeDepth)과 3D 가우시안 스플래팅을 거쳐 색상·깊이 애니메이션과 가우시안 포인트 클라우드를 생성하고, PLY 형식으로 다운로드하거나 브라우저에서 직접 미리볼 수 있다. 전체 요약 10문장 읽기 → 005 18:15 스타 1,119 LLM이 신경망 가중치를 이해하고 작성하는 실험 로그 공개 블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다. AI · 머신러닝 · RikiyaT/lm_understand-logs · Python
Key Point LLM이 실제로 신경망 가중치 구조를 이해하고 조작할 수 있음을 보여주는 체계적인 실험의 완전한 재현 자료로, 신경망과 LLM의 관계를 탐구하는 연구자에게 필수적인 참고 자료다.
핵심 요약
블로그 포스트 '가중치 공간 프로그래밍의 불꽃: LLM이 신경망 가중치를 이해하고 작성할 수 있다'의 전체 실험 로그를 GitHub에 공개했다. 게임 네트워크 식별, 확산 모델 분석, 언어 모델 중간층 분석, 가중치 편집 수정, 처음부터 네트워크 작성 등 8개 실험을 담았다. 각 실험은 모델에 보낸 프롬프트, 모델의 응답, 실행한 코드와 출력, 평가 점수, 읽거나 작성한 신경망을 모두 포함한다. 전체 요약 8문장 읽기 → 006 09:11 ▲ 15 · 댓글 2 가우시안 아바타의 흐릿함·왜곡을 확산 모델로 보정 단일 이미지나 비디오로 만든 3D 아바타는 기하학과 질감이 불충분해 흐릿함, 늘어남, 시간적 불안정성 같은 결함이 생기는 문제를 다루는 논문이다. AI · 머신러닝 · EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure
Key Point 카메라 한 대로 촬영한 비디오나 이미지로 3D 아바타를 만들 때 피할 수 없던 흐릿함과 왜곡을 AI로 자동 보정할 수 있게 되면, 메타버스와 실시간 통신 같은 응용에서 아바타 품질을 크게 높일 수 있다.
핵심 요약
단일 이미지나 비디오로 만든 3D 아바타는 기하학과 질감이 불충분해 흐릿함, 늘어남, 시간적 불안정성 같은 결함이 생기는 문제를 다루는 논문이다. EDGAR는 조건부 확산 프레임워크로, 신원 정보를 유지하면서 가우시안 아바타의 결함을 고쳐주도록 설계했다. 학습을 위해 EDGAR-SET이라는 하이브리드 데이터셋을 만들었는데, 실제 촬영 샘플과 합성 렌더링 샘플을 섞어 열악한 가우시안 아바타 렌더링을 바닥 참값과 참조 이미지와 짝지었다. 전체 요약 8문장 읽기 → 007 15:10 ▲ 18 · 댓글 2 추론 속도 7배 끌어올리는 비동기 투기형 디코딩 D3D 기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다. AI · 머신러닝 · D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
Key Point LLM 추론 병목 해결과 실시간 AI 서비스 성능 향상에 직결되는 새로운 분산 처리 기법으로, 기존 투기형 디코딩 방식의 근본적인 대기 문제를 제거했습니다.
핵심 요약
기존 타겟 조건 확산 드래프터는 각 블록 생성 후 타겟 모델의 숨겨진 상태를 기다려야 해 드래프팅과 검증이 순차 실행되며 속도 향상이 제한된다. D3D는 타겟 모델의 숨겨진 상태 없이 독립적으로 작동하는 확산 드래프터로, 블록 단위 노이징 제거와 보조 자기회귀 감독을 결합해 장기 수용 프리픽스를 달성한다. 이러한 독립성으로 D3D는 검증 중 후속 블록을 병렬로 드래프팅할 수 있어 비동기 투기형 디코딩을 가능하게 한다. 전체 요약 6문장 읽기 → 008 12:54 ▲ 173 · 댓글 16 텍스트-이미지 AI 모델, $21K로 학습 후 공개 2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. AI · 머신러닝 · Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)
Key Point 작은 팀이 주요 클라우드 AI 회사와 비교할 수 없는 수준의 비용으로 실용적인 이미지 생성 모델을 만들고 공개했으며, 이는 확산 모델의 효율성 개선 방향을 보여준다.
핵심 요약
2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다. 모델은 2.42억 개의 파라미터(학습 시 포함)를 가진 확산 모델이며, 512²에서 1024² 해상도로 단계적으로 학습했고, Qwen 3.5-4B 텍스트 인코더를 사용한다. 기존 VAE 기반 압축 대신 픽셀 공간에서 직접 작업하고 32×32 토큰 압축으로 어텐션 컨텍스트 윈도우를 4배 축소했으며, 이전 모델보다 11배 적은 샘플로 수렴한다. 전체 요약 8문장 읽기 → 009 18:13 ▲ 12 · 댓글 2 확산 모델의 4단계 생성, 속도 대립적 증류로 정확도 높인다 적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. AI · 머신러닝 · VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
Key Point 적은 샘플링 스텝에서도 높은 생성 품질을 유지하는 새로운 증류 방법이 텍스트-이미지, 텍스트-비디오 등 실용적인 생성 작업에 즉시 적용될 수 있다.
핵심 요약
적은 샘플링 스텝으로도 고품질을 유지하는 확산 및 흐름 모델 증류가 과제인데, 기존 스코어 증류는 중간 단계에서 학생 모델의 분포 추적이 어렵다는 한계가 있다. 흐름 일치 방식은 학생의 샘플링 과정에서 구성한 속도 필드를 통해 더 유연한 감독을 제공한다. 연구팀은 학습된 비평자를 사용해 학생과 교사의 속도 필드를 비교하고 불일치를 피드백으로 삼는 속도 대립적 증류(VAD)를 제안했다. 전체 요약 7문장 읽기 → 010 12:11 ▲ 10 · 댓글 5 기존 언어모델을 확산 모델로 변환하는 LoRA 기법 공개 자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. AI · 머신러닝 · BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
Key Point 확산 모델의 장점(병렬 토큰 업데이트, 유연한 생성)을 기존 오픈소스 언어모델에 저비용으로 적용하는 실용적 경로를 제시하며, 어댑터 학습만으로 대규모 재학습 없이 변환 가능함을 처음 증명했다.
핵심 요약
자기회귀(AR) 모델을 확산 언어모델(DLM)로 변환하는 파라미터 효율적 기법 BYOD를 제시했다. Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B 등 4개 모델에 LoRA 어댑터만으로 확산 생성 기능을 추가했으며, Mistral 모델의 AR-to-DLM 변환은 처음 보고된 사례다. 어댑터는 최종 파라미터의 4.1-5.8%만 차지하며 기본 모델 파라미터는 모두 동결된 상태로 유지된다. 전체 요약 9문장 읽기 → 011 18:11 ▲ 57 · 댓글 2 영상 확산 모델으로 범용 행동 표현 학습하는 DreamX 발표 비디오 확산 모델을 활용해 인간과 로봇 간에 공유 가능한 범용 행동 표현을 학습하는 DreamX를 제안했다. AI · 머신러닝 · DreamX: Video Diffusion Model is a Universal Latent Action Learner
Key Point 로봇과 인간 간 행동을 한 번에 학습하는 시스템으로, 다양한 실체와 환경에서 제로샷 전이가 가능해 로봇 학습 연구의 확장성을 크게 향상시킬 수 있다.
핵심 요약
비디오 확산 모델을 활용해 인간과 로봇 간에 공유 가능한 범용 행동 표현을 학습하는 DreamX를 제안했다. 기존 잠재 행동 모델은 시각적 변화와 행동을 얽혀 표현해 구현체 간 전이가 어려웠던 반면, DreamX는 비디오 모델의 생성 능력을 활용해 행동 관련 역학만 추출한다. 각 프레임을 1,200개에서 4개 토큰으로 압축해 300배 감소시키며, 의상이나 배경 같은 시각적 변화로부터 행동을 분리한 잠재 공간을 생성한다. 전체 요약 6문장 읽기 → 012 12:11 ▲ 18 · 댓글 1 과거 정보로 일관성 높인 장시간 영상 생성 모델 적은 단계의 자동회귀 비디오 확산 모델은 효율적인 생성이 가능하지만, 피사체나 장면이 화면 밖에 나갔다 다시 등장할 때 일관성을 유지하기 어렵다. AI · 머신러닝 · History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
Key Point 긴 장면에서도 일관성 있는 영상을 생성하는 것이 영상 AI 모델의 핵심 과제인데, 이 논문이 제시한 History Forcing 방법이 화면 밖 재등장이나 60초 롱폼 생성에서 구체적 성능 개선을 이뤄냈기 때문이다.
핵심 요약
적은 단계의 자동회귀 비디오 확산 모델은 효율적인 생성이 가능하지만, 피사체나 장면이 화면 밖에 나갔다 다시 등장할 때 일관성을 유지하기 어렵다. 기존 증류 방법들은 역사적 정보를 충분히 활용하지 못해 학생 모델의 현재 예측을 제약하지 못한다는 한계가 있다. 이를 해결하기 위해 History Forcing이라는 통합 온폴리시 증류 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 013 09:11 ▲ 167 · 댓글 21 생성형 AI의 수학적 기초를 다룬 입문서 출간 Tianhua Chen이 생성형 AI의 수학적 기초를 다루는 195페이지 분량의 입문서를 arXiv에 공개했다. AI · 머신러닝 · The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer
Key Point 생성형 AI를 체계적으로 학습하려는 개발자나 연구자에게 PCA부터 최신 모델까지 일관된 수학적 기초를 제공하는 교재가 생겼다는 점이 중요하다.
핵심 요약
Tianhua Chen이 생성형 AI의 수학적 기초를 다루는 195페이지 분량의 입문서를 arXiv에 공개했다. 이 책은 주요 생성 모델들(PCA, 확률적 PCA, 변분 오토인코더, 확산 모델, 정규화 흐름, 자기회귀 모델, GAN, Wasserstein GAN, 에너지 기반 모델)을 연결하는 일관된 경로를 제시한다. 도출 과정을 중심으로 구성되어 최근의 모든 아키텍처나 구현 세부사항을 다루기보다는 생성 모델링의 구조를 수학적 엄밀함을 잃지 않으면서 이해하기 쉽게 만드는 데 초점을 맞췄다. 전체 요약 6문장 읽기 → 014 15:11 ▲ 122 · 댓글 6 실시간 장편 영상 생성 위해 '웨이브 포싱' 기법 제시 실시간 장편 영상 생성을 위해 Wave Forcing(WF) 기법을 제안했다. 기존 청크 단위 자동회귀 방식은 직렬화된 노이즈 제거와 캐시 갱신으로 인해 한 단계 노이즈 제거에도 두 번의 순전파가 필요했다. AI · 머신러닝 · Wave Forcing: Towards Speed-of-Light Streaming Video Generation
Key Point 실시간 장편 영상 생성의 핵심 병목인 순차 처리 방식을 병렬화로 해결하는 구체적 기법이 제시되었고, 7배 이상의 성능 향상을 실현한 점이 주목된다.
핵심 요약
실시간 장편 영상 생성을 위해 Wave Forcing(WF) 기법을 제안했다. 기존 청크 단위 자동회귀 방식은 직렬화된 노이즈 제거와 캐시 갱신으로 인해 한 단계 노이즈 제거에도 두 번의 순전파가 필요했다. WF는 청크별 인과 주의 메커니즘으로 노이즈 제거가 완료되기 전 더 깨끗한 과거 청크에 먼저 접근하고, 엇갈린 노이즈 제거와 캐시 갱신 단계를 모델 복제본들에 분산시켜 파이프라인 충전 후 한 번의 순전파 라운드마다 하나의 출력 청크를 생성한다(1F1C). 모델을 연속 생성 프로세스에 적응시키기 위해 혼합 노이즈 노이즈 제거, 움직임 감독, 자체 생성 히스토리를 이용한 인과 적응을 순차적으로 도입하는 3단계 훈련 절차를 개발했다. 전체 요약 7문장 읽기 → 015 03:11 ▲ 25 · 댓글 2 한 번의 생성으로 실시간 제어, OSWAM 발표 직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. AI · 머신러닝 · OSWAM: An Effective World Action Model with One-Step Action Generation
Key Point 자율주행과 로봇 제어의 실시간 의사결정이 필요한 상황에서 한 단계의 빠른 생성으로 충분한 품질을 내는 새로운 방식이 제시됨에 따라 실제 배포 가능성이 크게 높아졌다.
핵심 요약
직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. 노이즈 제거 단계를 단순히 줄이면 비선형 다단계 궤적이 무너져 행동 품질이 크게 저하된다. 이 문제를 해결하기 위해 연구진은 한 단계의 확산만으로 고품질 행동을 생성하는 OSWAM(One-Step World Action Model)을 제안했다. 전체 요약 7문장 읽기 → 016 18:11 ▲ 19 · 댓글 2 확산 모델 가속, 게이트 재구성에서 비롯된다 REPA, dispersive regularization 등 확산 트랜스포머 학습 가속 기법들이 작동하는 방식을 재검토한 논문이다. AI · 머신러닝 · No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
Key Point 확산 모델 가속의 진짜 메커니즘이 특성 구조가 아닌 잔차 게이트 재구성에서 비롯되며, 이를 정량화하고 개선하는 새로운 방법을 제시한다.
핵심 요약
REPA, dispersive regularization 등 확산 트랜스포머 학습 가속 기법들이 작동하는 방식을 재검토한 논문이다. 기존에는 추가 감독(auxiliary objectives), 공간 구조 우선순위, 개선된 특성 기하학으로 설명했으나 실제 핵심은 다르다. AdaLN-Zero 잔차 게이트 α가 가속 방법들에 의해 대폭 재구성되며, 이것이 가속의 주요 원인임을 밝혔다. 전체 요약 8문장 읽기 → 017 18:11 ▲ 40 · 댓글 5 실시간 무한 세계 생성, 3D 가우시안 메모리로 해결 사용자 행동에 따라 시각 콘텐츠를 생성하는 인터랙티브 월드 모델에서 장기간 탐색 시 공간 일관성을 유지하기가 어려운 상황을 다룬다. AI · 머신러닝 · L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
Key Point 3D 메모리를 VAE 인코딩 없이 직접 활용하고 메모리 사용량을 크기에 따라 최적화해 실시간 무한 세계 생성이 실제로 가능해진 기술이다.
핵심 요약
사용자 행동에 따라 시각 콘텐츠를 생성하는 인터랙티브 월드 모델에서 장기간 탐색 시 공간 일관성을 유지하기가 어려운 상황을 다룬다. 기존 방식은 시간적 맥락이나 명시적 3D 메모리에 의존하지만 생성 스트림 길이에 따라 메모리가 증가해 확장성이 떨어진다. 또한 명시적 3D 메모리는 RGB 렌더링을 다시 인코딩해 잠재 비디오 생성기를 조건화하므로 실시간 생성이 불가능하다. 전체 요약 9문장 읽기 → 018 18:11 ▲ 23 · 댓글 2 단일 이미지에서 애니메이션 가능한 스타일 헤어 생성 게임과 아바타의 캐릭터 머리카락은 아티스트가 배치한 리본 모양의 헤어 카드로 구성되며, 스프링 본으로 애니메이션된다. AI · 머신러닝 · HairDeck: Animation-Ready Stylized Hair Cards from a Single Image
Key Point 게임 캐릭터와 아바타의 머리카락을 제작하는 과정에서 기존 방식보다 정확하고 빠르게 애니메이션 가능한 자산을 생성할 수 있는 새로운 접근 방식을 제시한다.
핵심 요약
게임과 아바타의 캐릭터 머리카락은 아티스트가 배치한 리본 모양의 헤어 카드로 구성되며, 스프링 본으로 애니메이션된다. 기존 이미지 기반 방법들은 사실적인 머리카락이나 단일 메시만 생성했고, CHARM은 유일한 스타일 헤어 카드 생성기이지만 제어점을 자동회귀로 긴 수열로 디코딩했다. 헤어 카드 스타일이 아티스트 정의 요소의 순서 없는 집합이라는 점에 착안하여 HairDeck을 제안한다. 전체 요약 7문장 읽기 → 019 18:11 ▲ 33 · 댓글 2 엔비디아, 시각·생성 통합한 확산 언어모델 공개 엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. AI · 머신러닝 · Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation
Key Point 단일 모델에서 시각 이해와 생성을 모두 처리하고자 하는 개발자들에게 새로운 아키텍처와 훈련 방법이 어떻게 여러 작업에 동시에 최고 성능을 달성했는지 보여준다.
핵심 요약
엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. 기존 확산 모델과 달리 자동회귀 VLM의 이해 능력과 연속 흐름 모델의 생성 능력을 교차 패러다임 온-정책 증류(OPD)로 통합했다. 훈련 시 이미지 토큰을 마스크로 직접 손상시키는 기존 방식 대신, 여러 단계에 걸쳐 각 토큰을 점진적으로 손상시키는 자가-정제 확산 프로세스를 도입했다. 전체 요약 5문장 읽기 → 020 12:11 ▲ 11 · 댓글 2 픽셀 공간 확산 모델 학습 가속화하는 통계 기법 픽셀 공간에서 속도장(velocity field)을 직접 학습하는 것은 어렵고 느린데, 고정된 Wiener 추정값이 속도 학습을 개선하고 선형 예측 범위를 넘어 이득을 제공한다. AI · 머신러닝 · Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models
Key Point 픽셀 공간 생성 모델의 훈련 효율을 37.5% 단축할 수 있는 방법이 제시되어, 대규모 이미지 생성 모델 개발의 실질적 비용 절감에 직결된다.
핵심 요약
픽셀 공간에서 속도장(velocity field)을 직접 학습하는 것은 어렵고 느린데, 고정된 Wiener 추정값이 속도 학습을 개선하고 선형 예측 범위를 넘어 이득을 제공한다. 고정된 기저(basis)와 픽셀 디코딩도 이와 유사하면서 상호보완적인 성능 향상을 보인다. Wiener-informed Decoding(WiD)은 통계적 지식으로 직접 예측과 디코더 계산을 조직화하며, 훈련가능한 Wiener 예측 경로와 기본 디코더 블록에 특징을 주입하고 계수 보정을 반환하는 계수 인터페이스를 조합한다. 전체 요약 8문장 읽기 → 021 12:11 ▲ 126 · 댓글 2 사용자 명령을 따르는 자유형 비디오 세계 모델 'Hy-Nomas' 공개 Hy-Nomas는 연속적인 사용자 명령을 따르면서 이전 상호작용 기록과 결과를 유지하는 대화형 세계 생성 모델이다. AI · 머신러닝 · Hy-Nomas: Towards Free-form Interactive World Generation
Key Point 대화형 AI 환경에서 사용자 명령을 정확히 따르면서도 과거 맥락을 유지하는 능력은 게임, 시뮬레이션, 메타버스 등 차세대 인터랙티브 콘텐츠 개발의 핵심 과제이며, 이 논문의 기술적 접근이 실제 적용에 어떻게 영향을 미칠지 주목할 필요가 있다.
핵심 요약
Hy-Nomas는 연속적인 사용자 명령을 따르면서 이전 상호작용 기록과 결과를 유지하는 대화형 세계 생성 모델이다. 80억 파라미터 규모의 확산 모델을 기반으로 자유형 텍스트 지시와 멀티턴 카메라 제어를 지원한다. 구조화된 비디오 자막과 행동 인식 인과 주의 메커니즘을 결합해 설명 맥락은 여러 세그먼트에서 접근 가능하면서 행동 명령은 해당 시간 윈도우로만 제한된다. 전체 요약 6문장 읽기 → 022 00:11 ▲ 21 · 댓글 2 추측 샘플링과 확산 모델의 속도-품질 트레이드오프 분석 추측 디코딩(Speculative Decoding)은 빠르지만 품질이 낮은 초안 모델에서 샘플링해 LLM 추론 속도를 높이는 기법으로, 전통적으로는 검증자 분포 대비 손실 없이 속도 향상을 보장한다. AI · 머신러닝 · Speculative Diffusion is a Tale of Two Tradeoffs
Key Point LLM 추론 성능을 높이는 두 가지 기술(추측 디코딩과 확산 모델)의 트레이드오프를 체계적으로 분석함으로써 최적 조합 방식을 제시한다.
핵심 요약
추측 디코딩(Speculative Decoding)은 빠르지만 품질이 낮은 초안 모델에서 샘플링해 LLM 추론 속도를 높이는 기법으로, 전통적으로는 검증자 분포 대비 손실 없이 속도 향상을 보장한다. 최근 개발된 확산 LLM(dLLM)은 더 적은 확산 스텝으로 출력 품질을 떨어뜨려도 대폭의 속도 향상을 달성할 수 있다는 점에서 다르다. 확산 모델은 토큰을 병렬로 생성하기 때문에 자회귀 모델보다 빠르게 샘플링할 수 있어, 추측 디코딩의 초안 모델로 유망하다. 전체 요약 6문장 읽기 → 023 12:11 ▲ 13 · 댓글 2 카메라 영상과 깊이만으로 물체 자세 파악하는 F2G-Pose 공개 RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. AI · 머신러닝 · F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
Key Point 라벨이나 사전 학습된 모델 없이 실시간으로 물체 자세를 복구할 수 있는 효율적인 방법이 로봇 조작과 3D 비전 응용에 큰 영향을 미칠 수 있기 때문이다.
핵심 요약
RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. 기존 방식은 중간 구조 기반 방법은 오류 전파에 취약하고, 확산 모델은 높은 추론 지연 시간과 복잡한 후처리 과정이 필요했다. F2G-Pose는 단일 RGB-D 관찰에서 한 번의 순전파로 물체 자세·실제 크기·완성된 형태를 동시에 예측하는 실시간 직접 예측 프레임워크다. 전체 요약 8문장 읽기 → 024 12:11 ▲ 11 · 댓글 3 확산 모델의 토큰 선택 정책, 숨은 상태와 신뢰도로 최적화 마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. AI · 머신러닝 · What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
Key Point 마스크 확산 모델의 속도 최적화는 LLM 추론 효율성 개선의 핵심 과제인데, 이 논문이 정책 설계의 구체적인 선택지(교사 신호, 입력 특성, 정책 크기)를 실험으로 검증하고 실용적인 기준(10% NFE 감소)을 제시한다.
핵심 요약
마스크된 확산 언어 모델은 토큰을 병렬로 생성하는데, 어느 예측을 확정할지 정하는 언마스킹 정책에 따라 속도-정확도 균형이 달라진다. 연구진은 감독 학습 정책을 디코딩 절차의 증류로 보고, 교사 모델이 어떤 예측을 확정 가능하다고 표시하는지, 정책이 어느 상태에서 이를 모방하는지, 정책이 무엇을 관찰하는지, 함수 평가 횟수(NFE) 감소분이 정책 오버헤드를 상쇄하려면 얼마인지를 독립적으로 분석했다. 최종 출력과 일치하는 예측을 확정 가능으로 표시하는 것은 NFE가 낮을 때 지나치게 허용적이며, 숨은 상태는 단독으로는 약하지만 신뢰도로 보완할 수 있다는 것을 발견했다. 전체 요약 6문장 읽기 → 025 21:11 ▲ 23 · 댓글 2 확산 모델의 단계별·작업별 양자화로 정확도 6.7%p 향상 확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다. AI · 머신러닝 · Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
Key Point 확산 모델의 양자화 시 노이즈 제거 과정의 어느 단계에서 어느 정도의 정밀도가 필요한지를 체계적으로 파악할 수 있게 되어, 모델 압축 효율과 정확도 사이의 균형을 개선할 수 있다.
핵심 요약
확산 언어 모델(DLM)은 반복 노이즈 제거 과정의 특성상 기존 모델과 다른 양자화 도전 과제를 갖는다. 연구팀은 양자화 민감도가 작업과 타이밍 두 가지에 의존하며, 각 작업마다 노이즈 제거 단계별로 필요한 정밀도가 다름을 밝혔다. 이러한 패턴은 정답 레이블이나 작업별 평가 지표 없이도 예측 가능함을 보였다. 전체 요약 5문장 읽기 → 026 18:11 ▲ 13 · 댓글 2 언어모델이 언어모델 개선을 학습하다 LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. AI · 머신러닝 · Language Models Learn to Improve Language Models
Key Point LLM이 AI 개발 프로세스를 자동으로 개선하는 능력을 갖추게 되면서 모델 개발 비용과 속도의 판도가 바뀔 수 있기 때문입니다.
핵심 요약
LLM을 이용해 AI 연구를 자동화할 수 있지만, 실제 피드백으로 효과적인 개선안을 제안하는 능력을 학습하는 데는 두 가지 문제가 있다. 첫째, 강화학습으로 수만 개 제안을 평가하려면 수십만 GPU시간이 필요해 비용이 매우 크다. 둘째, 대리 피드백은 정책 최적화 과정에서 과대평가된 제안을 선호하면서 신뢰도가 떨어진다. 전체 요약 7문장 읽기 → 027 12:10 ▲ 10 · 댓글 1 확산 언어 모델로 리서치 속도 6배 가속화 심화된 리서치 시스템은 계획, 증거 수집, 종합, 수정을 반복하는데 종단간 지연이 상용 활용에 큰 병목이다. AI · 머신러닝 · DiffResearch: Accelerating Deep Research with Diffusion Language Models
Key Point 자동 회귀 모델 기반의 현재 리서치 시스템이 느린 이유를 근본적으로 해결하는 대안 기술을 제시하며, 실제로 6배 속도 개선과 품질 유지를 동시에 달성했기 때문이다.
핵심 요약
심화된 리서치 시스템은 계획, 증거 수집, 종합, 수정을 반복하는데 종단간 지연이 상용 활용에 큰 병목이다. 기존 대부분의 프로덕션 시스템은 자동 회귀(AR) 언어 모델에 기반하며 좌에서 우로의 디코딩 방식을 사용한다. DiffResearch는 확산 언어 모델(dLLM)을 모든 단계의 핵심에 놓는 오픈 멀티 에이전트 리서치 프레임워크다. 전체 요약 9문장 읽기 → 028 21:11 ▲ 37 · 댓글 2 로봇 정책 학습의 미래 프레임 예측 성능 개선 World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. AI · 머신러닝 · Self-Distilling Future Video Representations for World Action Models
Key Point 미래 프레임 표현을 한 단계로 정확히 예측하는 기술이 로봇의 장기 작업 수행과 인간 시연 영상 학습 성능을 크게 높이기 때문에, 로봇 학습의 실용화를 앞당기는 중요한 진전이다.
핵심 요약
World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. 이 설계에서 액션 예측이 미래 표현의 품질에 직접 영향을 받기 때문에, 노이즈로부터 단일 단계로 미래 표현 품질을 높이는 것이 중요하다. 논문은 FRED(Future REpresentation learning via self-Distillation with temporal context) 프레임워크를 제시한다. 전체 요약 9문장 읽기 → 029 15:11 ▲ 173 · 댓글 2 영화 같은 영상 생성, MLLM 정보를 제대로 활용하는 학습법 제안 영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. AI · 머신러닝 · Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
Key Point 비디오 확산 모델이 MLLM의 정보를 무시하는 근본 문제를 해결함으로써 멀티모달 정보 기반의 영상 생성 품질을 크게 향상시키는 방법론을 제시합니다.
핵심 요약
영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. 멀티모달 대형언어모델(MLLM)이 유용한 선행 정보를 제공하지만, 비디오 확산 트랜스포머(DiT)가 직접 조건화 경로로 이를 우회하거나 충분히 활용하지 못한다. 연구팀은 요소 인식 예측 학습(FAPL)을 제안해 MLLM 잠재값을 유효하게 활용하는 것을 전제로 설정했다. 전체 요약 8문장 읽기 → 030 12:11 ▲ 51 · 댓글 2 확산 모델의 특성을 선별하는 정책 기반 마스킹 기법 기존에 고정된 규칙으로 추출하던 확산 모델의 중간 특성을 동적으로 선택하는 Policy-Mask 기법을 제시한다. AI · 머신러닝 · Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks
Key Point 차별적 작업에 확산 모델의 특성을 재활용할 때 수동으로 설정하던 추출 규칙을 자동으로 최적화해 다양한 시각 이해 작업에서 성능 향상을 실현한다.
핵심 요약
기존에 고정된 규칙으로 추출하던 확산 모델의 중간 특성을 동적으로 선택하는 Policy-Mask 기법을 제시한다. 확산 과정의 타임스텝, 네트워크 깊이, 채널 세 가지를 모두 함께 최적화하되, 채널 수 제한(예산)을 고려한다. 채널 점수가 선택된 채널 수에 따라 증가하는 문제를 정규화로 해결하여 세 개의 정책이 균형있게 학습되도록 한다. 전체 요약 6문장 읽기 → 031 21:11 ▲ 24 · 댓글 2 합성 데이터 없이 실제 이미지로 훈련하는 장면 글자 편집 장면 글자 편집(STE)은 원본 스타일을 유지하면서 텍스트 내용을 수정하는 기술로, 기존 접근법들은 합성 쌍 데이터에 의존해 실제 장면의 다양성을 제대로 포착하지 못하고 인공물을 생성하는 문제가 있다. AI · 머신러닝 · Real In, Real Out: What If We Only Use Real Data for Scene Text Editing?
Key Point 실제 이미지만으로 학습하면서도 합성 데이터에 의존하는 기존 방식의 도메인 격차 문제를 해결하고, 나아가 글자 인식 모델의 성능까지 높일 수 있다는 점이 중요하다.
핵심 요약
장면 글자 편집(STE)은 원본 스타일을 유지하면서 텍스트 내용을 수정하는 기술로, 기존 접근법들은 합성 쌍 데이터에 의존해 실제 장면의 다양성을 제대로 포착하지 못하고 인공물을 생성하는 문제가 있다. 논문은 실제 샘플 하나를 여러 방식으로 손상시켜(자르기, 섞기, 마스킹 등) 자체 쌍 학습 데이터를 만드는 방식으로, 합성 데이터 없이 훈련이 가능한지 탐구했다. TextRIRO는 조건부 확산 모델 기반의 기준 모델로, 문자 열 섞기와 이미지 자르기(Shuffle&Crop)를 결합할 때 텍스트 의미는 파괴하면서 스타일 단서는 보존하여 모델이 실제 텍스트 이미지에서 직접 편집 행동을 학습할 수 있다. 전체 요약 6문장 읽기 → 032 21:11 ▲ 24 · 댓글 2 최소한의 촬영으로 4K 급 입체 영상 생성하는 RealMe 기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. AI · 머신러닝 · RealMe: Immersive Volumetric Video from Minimal Captures
Key Point 저예산 촬영 환경에서도 고품질 입체 영상을 만들 수 있는 방식이 나왔고, 시간-공간 일관성 문제를 처음으로 체계적으로 해결했기에 활용 가능한 응용 범위가 크게 넓어진다.
핵심 요약
기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. 논문은 이를 해결하는 통합 프레임워크 RealMe를 제안하는데, 고해상도 비디오 확산 모델을 중심으로 제한된 촬영 데이터를 2K 해상도의 4D 일관성 있는 영상으로 향상시킨다. RealMe는 촬영 영상에서 보조 데이터를 만들어 잠재 벡터로 인코딩하고, 위치 임베딩을 함께 처리해서 비디오 확산 모델에 입력한다. 전체 요약 6문장 읽기 → 033 15:11 ▲ 23 · 댓글 3 영상 생성 AI의 주의 계산 최적화, 훈련 없이 처리 시간 단축 비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. AI · 머신러닝 · Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Key Point 비디오 생성 모델의 추론 속도를 실질적으로 단축할 수 있는 실용적 최적화 방법을 제시하며, 훈련 없이 적용 가능해 즉시 도입할 수 있다.
핵심 요약
비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. 연구팀은 다른 레이어와 디노이징 단계에서 어텐션 스파시티를 줄일 때 최종 영상 품질에 영향을 주는 정도가 크게 다르다는 것을 발견했다. 중요한 발견은 품질에 가장 민감한 레이어-단계 조합이 입력 데이터에 관계없이 거의 변하지 않는다는 점이다. 전체 요약 8문장 읽기 → 034 15:11 ▲ 158 · 댓글 2 자동회귀 동영상 생성에 미래 청크 예측 더하기 자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. AI · 머신러닝 · Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 시간적 진화를 제대로 모델링하는 훈련 기법이 기존 방식보다 적은 계산량으로 물리적 타당성을 높이는 방법을 제시했다.
핵심 요약
자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. 교사 강제(teacher forcing) 훈련에서 강한 시간적 중복성이 로컬 시각 연속성을 지름길 삼아 실제 시각 진화 모델링 압력을 감소시킨다. 연구팀은 Future Chunk Prediction(FCP)라는 보조 목표함수를 제시했으며, 이는 교사 강제 디노이징과 함께 학습된다. 전체 요약 7문장 읽기 → 035 03:11 ▲ 12 · 댓글 2 효율적인 흐름 모델로 LLM 병렬 생성 실현 연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. AI · 머신러닝 · Large Flow Language Models
Key Point 병렬 생성과 더 빠른 추론이 가능한 흐름 모델이 대규모 언어 모델에서 실질적으로 작동하는 것을 처음 입증했으며, 기존 자동회귀 모델보다 2.5배 빠른 처리 속도로 같은 품질을 낸다는 점이 생성 AI 구조의 근본적 전환을 시사한다.
핵심 요약
연속 흐름 언어 모델(continuous flow language model)은 이산 확산 모델에 없는 병렬 생성, 제어, 가속 기능을 제공한다. 라파(Lafa)는 80억 개 매개변수 규모의 흐름 언어 모델로, 30B 토큰 미만으로 학습되어 이전 확산 모델보다 효율적이다. 블록 단위 흐름 모델 설계로 접두사에는 인과 관계 어텐션, 각 블록 내에는 양방향 비동기 흐름을 적용한다. 전체 요약 10문장 읽기 → 036 00:11 ▲ 27 · 댓글 1 이미지·영상 생성 속도를 6배 높이는 스펙트럼 필터링 기법 확산 트랜스포머(DiT)는 고품질 이미지·영상을 생성하지만 반복되는 트랜스포머 평가로 추론 비용이 크게 든다. AI · 머신러닝 · SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration
Key Point 확산 모델 기반 생성 AI의 추론 속도가 실무적 병목이 되는 상황에서, 화질 손실을 최소화하면서 최대 6배 가속이 가능한 기법이 제시됨으로써 생성 모델의 배포 효율을 크게 개선할 수 있다.
핵심 요약
확산 트랜스포머(DiT)는 고품질 이미지·영상을 생성하지만 반복되는 트랜스포머 평가로 추론 비용이 크게 든다. 기존 캐싱은 특성을 재사용하고, 예측 방식은 건너뛴 단계의 특성을 외삽(extrapolation)하지만, 공간-주파수 성분이 잡음 제거 과정의 다양한 단계에서 서로 다르게 변한다는 점을 간과한다. 또한 잡음 제거는 비균등하게 진행되므로 같은 간격의 스텝도 실제로는 크기 다른 변화에 해당하는데, 이 불일치가 건너뛴 단계가 많아질수록 예측 오류를 증폭시킨다. 전체 요약 7문장 읽기 → 037 15:11 ▲ 37 · 댓글 2 확산 모델의 오차 누적을 잡는 보정 기법 확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. AI · 머신러닝 · Correction Training for Diffusion Models
Key Point 확산 모델의 근본적인 학습-추론 갭을 단순한 보정 기법으로 해결하고 CFG 없이도 고품질 샘플을 생성할 수 있게 됨으로써, 현재 텍스트-이미지 생성 모델의 성능 천장을 높일 수 있는 방법을 제시합니다.
핵심 요약
확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. 이런 학습-추론 갭을 줄이기 위해 보정 단계(corrector)를 도입한다: 보정 모델은 기본 모델의 예측을 입력받아 같은 정답을 목표로 학습한다. 샘플링 중 각 디노이징 단계마다 보정 모델이 예측을 반복적으로 정제하며, 중간 단계의 아티팩트가 최종 샘플로 전파되는 것을 방지한다. 전체 요약 7문장 읽기 → 038 12:11 ▲ 29 · 댓글 2 약한 모델로 강한 확산 모델 학습하기, SWIFT 논문 확산 모델 학습은 계산량이 많아서 추론 시 가이던스를 추가하면 샘플링 비용이 더 높아진다는 문제가 있다. AI · 머신러닝 · SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
Key Point 약한 모델을 활용해 더 강한 확산 모델을 절반 이하의 학습 비용으로 훈련하면서도 추론 오버헤드를 늘리지 않는 실질적인 방법이 입증되었기 때문이다.
핵심 요약
확산 모델 학습은 계산량이 많아서 추론 시 가이던스를 추가하면 샘플링 비용이 더 높아진다는 문제가 있다. SWIFT는 얼려진 약한 노이즈 제거기를 사용해 강한 모델을 개선하는 자가 가이드 학습법으로, 추론 오버헤드를 추가하지 않는다. 각 노이지 입력에 대해 약한 모델의 예측에서 멀어지도록 클린 회귀 타겟을 외삽하여, 부족하게 학습된 성분을 증폭한다. 전체 요약 9문장 읽기 → 039 12:11 ▲ 26 · 댓글 1 확산 모델 학습을 위한 견고한 토크나이저 RoAR-VAE 시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. AI · 머신러닝 · RoAR-VAE: Improving Latent Diffusability through Robust Prediction
Key Point 확산 모델 기반 이미지 생성의 핵심인 토크나이저 설계에 새로운 원칙을 제시하며, 견고한 예측으로 재구성과 생성 성능을 동시에 개선할 수 있음을 보여준다.
핵심 요약
시각 토크나이저는 이미지 충실도를 유지하면서 확산 모델이 효율적으로 학습할 수 있는 잠재 표현을 생성해야 한다. 기존 REPA-E 접근법을 다시 검토한 결과, 확산 목적과 전용 생성 블록을 제거하고 손상된 잠재에서의 의미론적 예측만 유지해도 유사한 생성 성능을 낸다. 이를 바탕으로 '견고한 예측' 원칙을 제시한다: 생성에 필요한 정보가 손상된 잠재에서도 복구 가능해야 한다. 전체 요약 6문장 읽기 → 040 12:11 ▲ 36 · 댓글 1 이미지 여러 번 편집할 때 화질 유지하기 사용자가 연속된 명령어로 이미지를 여러 번 편집하는 다중 턴 이미지 편집 작업에서 기존 방식은 몇 번의 편집 후 화질 저하와 부작용이 누적되거나 이전 편집 내용이 의도하지 않게 변경되는 문제가 발생한다. AI · 머신러닝 · MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion
Key Point 연속된 이미지 편집 작업에서 화질 저하와 이전 편집 손실 문제를 해결하는 실질적인 기술이 나왔다.
핵심 요약
사용자가 연속된 명령어로 이미지를 여러 번 편집하는 다중 턴 이미지 편집 작업에서 기존 방식은 몇 번의 편집 후 화질 저하와 부작용이 누적되거나 이전 편집 내용이 의도하지 않게 변경되는 문제가 발생한다. 이 논문은 자동회귀 확산 기반의 통합 멀티모달 모델(UMM)을 위한 새로운 훈련 방식인 MT Forcing을 제안한다. 단일 턴 분포 매칭 증류(Single-Turn DMD)는 교사 모델이 원본 이미지에 누적된 편집을 한 번에 적용한 결과로 학생 모델의 자동 롤아웃을 감독하여, 반복적 오류 누적 없이 시각적 품질 지도를 제공한다. 전체 요약 5문장 읽기 → 041 06:11 ▲ 16 · 댓글 1 학습 데이터 없이 확산 모델 가속화하는 방법 확산 모델과 플로우 모델은 수치 적분이 비싸 추론 속도가 느리며, 기존 증류법은 학습 데이터셋이나 비용 많은 교사 모델 롤아웃, 보조 네트워크 등이 필요했다. AI · 머신러닝 · Consistent Distribution Matching for Data-Free Diffusion Distillation
Key Point 학습 데이터가 필요 없으면서도 최소 함수 평가로 고화질 생성을 하는 새로운 증류 기법이 기존의 데이터 의존성과 복잡한 학습 파이프라인 문제를 해결한다.
핵심 요약
확산 모델과 플로우 모델은 수치 적분이 비싸 추론 속도가 느리며, 기존 증류법은 학습 데이터셋이나 비용 많은 교사 모델 롤아웃, 보조 네트워크 등이 필요했다. Consistent Distribution Matching이라는 시뮬레이션 프리·데이터 프리 증류 방식을 제안하며, 샘플 생성과 스코어 추정을 하나의 학생 네트워크로 통합한다. 프레임워크는 얼어 있는 교사 모델과 학습 가능한 학생 모델 두 개만 사용하고 하나의 목적함수를 최적화한다. 전체 요약 6문장 읽기 → 042 03:11 ▲ 20 · 댓글 2 텍스트·이미지·영상을 함께 쓰는 통합 비디오 편집 프레임워크 OmniXRef는 텍스트 지시, 이미지 참조, 영상 참조를 조합하여 소스 비디오의 다양한 속성을 제어하는 통합 비디오 편집 프레임워크다. AI · 머신러닝 · OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
Key Point 여러 형태의 참조를 통합하는 비디오 편집 방식은 창작자의 의도를 더 유연하게 표현하게 해주며, 공개된 벤치마크는 이 영역의 평가 표준을 정립합니다.
핵심 요약
OmniXRef는 텍스트 지시, 이미지 참조, 영상 참조를 조합하여 소스 비디오의 다양한 속성을 제어하는 통합 비디오 편집 프레임워크다. 참조 은행 인터페이스와 R²-RoPE를 도입하여 가변 개수의 참조를 지원하는 통합 입력 설계를 구현했다. OmniXRef-Model은 단일 스트림 확산 트랜스포머를 사용해 소스 비디오와 MLLM의 다중모드 맥락을 인터리브 수열로 처리한다. 전체 요약 7문장 읽기 → 043 15:11 ▲ 23 · 댓글 2 확산 모델 강화학습을 위한 라우팅 정책 최적화 기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. AI · 머신러닝 · Routing Policy Optimization for Online Diffusion Reinforcement Learning
Key Point 생성 모델을 보상 신호로 정렬할 때 훈련 효율을 4배 향상시키면서도 추론 시 모델의 원래 특성을 유지하는 새로운 강화학습 기법이 제시되어, 확산 모델 최적화의 실질적 한계를 해결한다.
핵심 요약
기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. Routing Policy Optimization (RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 변환하여 이를 답한다. 선택된 몇 개의 디노이징 단계에서 각 쿼리 블록은 자신의 블록을 유지하면서 생성 모델의 자연스러운 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지한다. 전체 요약 9문장 읽기 → 044 12:11 ▲ 15 · 댓글 2 Few-Step 확산 모델, 간단한 회귀만으로 빠르게 확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다. AI · 머신러닝 · Simplifying and Improving On-Policy Distillation for Few-Step Diffusion
Key Point 복잡한 별도 모듈 없이 기본 회귀로 few-step 생성의 품질을 올릴 수 있다면, 실제 배포 환경에서 확산 모델의 속도를 크게 개선하려는 팀들에게 직접적인 영향을 줄 것이다.
핵심 요약
확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-Step 디스틸레이션은 보조 점수 모델이나 특수 아키텍처가 필요했으나, 단순 On-Policy 속도 회귀만으로 4-NFE 생성에 충분함을 보였다. 교사 모델의 각 구간 내 속도 변화를 표현하기 위해 학생의 구간 평균 예측에서 국소 보정을 분리하는 학습 전용 잔차 프록시 Pivot을 도입했다. 학생을 약한 교사 예측으로부터 멀어지게 하는 메커니즘을 추가해 원하지 않는 모드 회피를 돕는다. 전체 요약 7문장 읽기 → 045 00:11 ▲ 45 · 댓글 2 극한 압축으로 확산 모델 가속화하는 APEX 등장 확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. AI · 머신러닝 · APEX: Asynchronous Prefix Denoising for Extreme Compression
Key Point 확산 모델의 토큰 수를 획기적으로 줄이면서도 생성 품질을 유지할 수 있는 방법으로, 추론 속도와 비용에 민감한 생성형 AI 서비스 개발에 직접 영향을 미친다.
핵심 요약
확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. APEX는 계층적 레이턴시 공간과 채널 그룹별 비동기 디노이징을 결합한 새로운 방식이다. 오토인코더가 채널 프리픽스를 구조에서 세부사항 순서로 정렬하고, 공유된 단일 디노이저가 토큰을 추가하지 않고 엇갈린 시간에 생성한다. 전체 요약 6문장 읽기 → 046 21:11 ▲ 16 · 댓글 2 영상 생성 속도 2배 이상 높인 경량 VAE 기법 공개 영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. AI · 머신러닝 · LightVAE: Towards Compact and Efficient Video Autoencoders
Key Point 영상 생성 모델의 추론 속도를 2배 이상 높일 수 있는 기술이 공개되어, 실시간 영상 생성 서비스의 비용과 성능을 크게 개선할 수 있게 되었다.
핵심 요약
영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. 기존 방식은 공간과 시간 계산을 함께 제약하거나 시간 계산을 제거했으나, Conv3D에서 두 차원의 압축 민감도를 구분하지 못했다. LightVAE는 시간 모델링과 네트워크 깊이의 중복성을 이용하는 압축 프레임워크다. 전체 요약 12문장 읽기 → 047 18:11 ▲ 18 · 댓글 1 4D 생성 영상의 기하학적 일관성을 높이는 GeoFix 논문 공개 비디오 확산 모델을 4D 생성의 기초로 사용할 때 생성된 영상이 기하학적 일관성을 잘 유지하지 못하는 문제가 있다. AI · 머신러닝 · GeoFix: Geometry Fixing for 4D Consistent Generation
Key Point 비디오 확산 모델 기반 4D 콘텐츠 생성이 점점 실용화되는 가운데, 기하학적 정확성을 유지하면서도 시각 품질을 보존하는 균형의 문제를 해결하는 방법론을 제시하고 있다.
핵심 요약
비디오 확산 모델을 4D 생성의 기초로 사용할 때 생성된 영상이 기하학적 일관성을 잘 유지하지 못하는 문제가 있다. 기존 방법은 기하학적 보상을 설계해 사후 학습하지만 텍스처와 세부 디테일이 저하되어 추가 외형 보상과 신중한 보상 조정이 필요했다. GeoFix는 단일 기하학적 보상으로 기하학적 일관성과 시각적 품질을 동시에 개선하는 통합 프레임워크로, 학습 및 추론 시간 모두에 적용 가능하다. 전체 요약 7문장 읽기 → 048 15:11 ▲ 50 · 댓글 1 확산 모델이 외부 도움 없이 자신을 개선하는 법 기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. AI · 머신러닝 · SALD: Self-Referenced Advantage Learning for Diffusion Models
Key Point 확산 모델의 학습을 더 효율적으로 만들 수 있는 새로운 기법으로, 추가 모델이나 파라미터 없이 모델 자신의 내부 신호만으로 성능을 개선할 수 있다는 점이 의미 있다.
핵심 요약
기존 연구에서 언어모델은 학생 파라미터로 구동하는 교사 네트워크의 도움으로 자체 평가 신호를 얻을 수 있음을 보였는데, 이를 확산 모델에 적용할 방법을 제시한다. SALD는 같은 모델으로 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크다. 낮은 노이즈 경로는 그래디언트 추적 없이 평가되어 참조값을 제공하고, 높은 노이즈 경로는 학습 그래디언트를 생성한다. 전체 요약 8문장 읽기 → 049 15:11 ▲ 243 · 댓글 4 DiffusionART, 확산 모델 강화학습을 12배 빠르게 온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. AI · 머신러닝 · DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
Key Point 확산 모델 강화학습의 GPU 학습 시간을 10배 이상 단축하면서 보상 성과는 더 높이는 기술로, 이미지 및 비디오 생성 모델 최적화의 실무 효율성을 크게 개선한다.
핵심 요약
온라인 강화학습(RL)으로 블랙박스 보상 함수를 사용해 확산 모델을 미세조정하는 방식이 최근 주목받고 있으나, 역방향 프로세스 방식(Flow-GRPO)은 신용 할당 문제로 효율성이 떨어지고, 순방향 프로세스 방식(DiffusionNFT)은 지수이동평균(EMA) 비정책 학습 튜닝 없이는 불안정하다. NFT 스타일 목적함수가 숨겨진 순방향-역방향 일관성 강제를 포함하고 있으며, 양성-음성 결합 학습이 이를 부분적으로만 상쇄하고, EMA는 비정책 롤아웃이 아닌 복원을 통해 학습을 안정화한다는 원리를 발견했다. DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)는 각 프롬프트의 보상을 역방향 프로세스 상태를 위한 공유 보상 개선 방향으로 집계해 일관성 강제를 구조적으로 제거한다. 전체 요약 7문장 읽기 → 050 12:11 ▲ 33 · 댓글 2 확률 분포 일치로 보정 없이 확산 언어모델 양자화 확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. AI · 머신러닝 · SoloQ: Calibration-Free Quantization for Diffusion Language Models
Key Point 확산 기반 언어모델의 배포 효율성이 점점 중요해지는 상황에서, 보정 데이터 없이도 정확도를 유지하는 양자화 기법이 실무 적용 시간을 크게 단축할 수 있다.
핵심 요약
확산 기반 토큰 생성 언어모델(dLLM)은 자동회귀 모델의 대안으로 주목받고 있으나, 전체 시퀀스 역노이징과 블록 확산의 메모리 오버헤드로 배포가 어렵다. 기존 양자화 방법들은 마스킹 상태와 노이징 단계마다 활성화 분포가 바뀌어 보정 데이터가 필수였다. SoloQ는 가중치와 활성화를 정규화된 회전 기저로 매핑해 예측 가능한 주변 분포를 만들고, 이를 통해 데이터 독립적 양자화를 실현한다. 전체 요약 8문장 읽기 → 051 06:11 ▲ 14 · 댓글 2 픽셀 공간 확산 모델, 잠재 공간 모델과 동등한 성능 보여 픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. AI · 머신러닝 · Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
Key Point 픽셀 공간 확산 모델이 세밀한 디테일 작업에서 잠재 공간 모델을 이길 것이라는 기대와 달리 실제로는 동등한 성능만 낸 이유를 알 수 있고, 픽셀 공간 사전학습의 한계와 가능성을 실증적으로 보여준다.
핵심 요약
픽셀 공간 확산 모델은 잠재 공간 모델의 손실 많은 VAE를 피하므로 세밀한 디테일이 중요한 작업에서 유리할 것으로 예상되었다. 3B 매개변수 규모의 Iris-3B 픽셀 공간 텍스트-이미지 트랜스포머를 256→512→1024 커리큘럼으로 처음부터 학습했고, 또한 FLUX.2 Klein 4B 잠재 모델을 픽셀 공간으로 변환했다. 두 모델 모두 단안 깊이 추정과 이미지 복원/초해상화 작업에 미세조정했으나, 픽셀 공간 생성 사전에서 의미 있는 성능 향상을 발견하지 못했다. 전체 요약 6문장 읽기 → 052 21:11 당일 +202 마이크로소프트, 고품질 3D 생성 모델 TRELLIS.2 공개 마이크로소프트가 40억 개 파라미터 규모의 이미지-to-3D 생성 모델 TRELLIS.2를 공개했다. AI · 머신러닝 · microsoft/TRELLIS.2 · Python
Key Point 이미지 한 장에서 PBR 재질까지 포함한 완전한 3D 자산을 빠르게 생성할 수 있는 새로운 방식이 등장했으므로, 3D 콘텐츠 제작 워크플로우가 어떻게 바뀔 수 있을지 확인할 필요가 있다.
핵심 요약
마이크로소프트가 40억 개 파라미터 규모의 이미지-to-3D 생성 모델 TRELLIS.2를 공개했다. O-Voxel이라는 새로운 '필드 프리' 희소 복셀 구조를 사용하여 복잡한 위상, 예리한 특징, 완전한 PBR 재료를 가진 3D 자산을 생성한다. 512³ 해상도에서 약 3초(2초 형상 생성 + 1초 재질 생성), 1024³에서 약 17초, 1536³에서 약 60초가 소요된다. 전체 요약 12문장 읽기 → 053 21:11 ▲ 104 · 댓글 36 금융 시장 데이터를 생성 모델로 합성할 수 있을까 Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. AI · 머신러닝 · Can you use autoregressive diffusion to generate market data?
Key Point 시장 데이터를 직접 합성하는 생성 모델은 기존의 포인트 추정 방식과 달리 시장 미시구조의 구체적 이벤트까지 재현할 수 있어, 량자펀드의 백테스팅과 리스크 시뮬레이션 방법을 근본적으로 바꿀 수 있는 가능성을 보여준다.
핵심 요약
Jane Street 인턴이 자기회귀 확산 모델을 사용해 미국 주식 시장 데이터의 주문장 이벤트를 생성하는 생성 모델을 만들었다. 기존 예측 모델과 달리 가격 뿐 아니라 주문 타이밍, 취소, 체결 같은 구체적 이벤트까지 합성하는 모델을 목표로 했다. 시장 데이터는 이산적(주문 추가/제거)이면서도 연속적(가격, 타이밍 같은 고차원 변수)인 혼합 특성을 갖고 있어 모델링이 복잡하다. 전체 요약 10문장 읽기 → 054 15:13 ▲ 38 · 댓글 2 확산 변환기의 희소 주의 문제, 훈련 없이 해결 확산 변환기에서 긴 시퀀스 생성(영상, 3D 자산)을 가속할 때 희소 주의를 쓰면 생성 품질이 떨어지는 문제가 있다. AI · 머신러닝 · MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
Key Point 긴 시퀀스 생성 작업의 병목인 희소 주의의 품질 저하 문제를 훈련 없이 근본적으로 해결해 실용적 가속을 달성했다.
핵심 요약
확산 변환기에서 긴 시퀀스 생성(영상, 3D 자산)을 가속할 때 희소 주의를 쓰면 생성 품질이 떨어지는 문제가 있다. 연구팀은 품질 저하 원인을 세 가지로 분석했다: 토큰 그룹화 제약, 부정확한 상호작용 선택, 폐기된 토큰의 주의 기여 손실이다. 이를 바탕으로 메타 캐시 희소 주의(MC-Sparse)를 제안했다. 훈련이 필요 없는 프레임워크로, 개별 키-값 토큰을 선택하면서 유사한 쿼리들을 타일 정렬 그룹으로 묶어 GPU 실행을 효율화한다. 전체 요약 6문장 읽기 → 055 15:13 ▲ 24 · 댓글 3 깊이 추정 없이 카메라 관점 변환 비디오 생성 외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. AI · 머신러닝 · LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation
Key Point 깊이 추정 단계를 제거하면서도 비디오 생성 품질을 높이는 새로운 접근법으로, 구조 정렬과 세부 복원의 역할 분담 방식이 확산 모델의 특성과 어떻게 부합하는지 보여준다.
핵심 요약
외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. 기존 최첨단 방식은 깊이를 추정해 포인트 클라우드로 변환한 후 자아중심 카메라 관점에서 재렌더링하고, 이를 비디오 확산 모델의 조건으로 사용한다. 그러나 이 결정론적 매핑은 각 픽셀을 한 위치에만 할당하므로 깊이 오류가 콘텐츠 배치 오류로 전파되고, 텍스처는 보존되지만 정확도가 떨어진다. 전체 요약 9문장 읽기 → 056 03:11 ▲ 10 · 댓글 2 텍스트-이미지 생성 모델에 에이전트 지식 직접 조각내기 텍스트-이미지 생성 모델을 에이전트 프레임워크로 감싸면 프롬프트 반복 개선과 검증을 통해 생성 품질이 향상되지만, 이런 이득이 모델 가중치에 내재되지 않아 에이전트가 실행될 때만 효과가 발휘된다. AI · 머신러닝 · Internalizing Agent Experience into Diffusion Model Weights via On-Policy Context Distillation
Key Point 이미지 생성 품질을 높이는 에이전트 능력을 모델 자체에 영구적으로 내재시켜 일반 사용자도 원본 쿼리만으로 개선된 이미지를 받을 수 있게 하는 새로운 접근 방식이다.
핵심 요약
텍스트-이미지 생성 모델을 에이전트 프레임워크로 감싸면 프롬프트 반복 개선과 검증을 통해 생성 품질이 향상되지만, 이런 이득이 모델 가중치에 내재되지 않아 에이전트가 실행될 때만 효과가 발휘된다. 논문은 Diffusion On-Policy Context Distillation(D-OPCD)를 제안하는데, 에이전트가 개선한 프롬프트를 특권 정보로 삼아 에이전트의 능력을 확산 모델 가중치로 직접 압축하는 방식이다. Auto Skill Evolver(ASE)라는 텍스트-이미지 에이전트를 사용해 D-OPCD를 실험한 결과, 원본 쿼리만으로 생성했을 때 평균 점수가 60.52에서 65.09로 상승했다(4개 벤치마크 기준). 전체 요약 5문장 읽기 → 057 21:11 ▲ 20 · 댓글 2 카메라 기하학 조건으로 다중 시점 이미지 합성 3배 가속 소수의 2D 이미지로부터 3D 콘텐츠를 생성하는 '희소 시점 신규 시점 합성' 문제를 해결하는 NAMVIS 프레임워크를 제안했다. AI · 머신러닝 · NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis
Key Point 3D 콘텐츠 제작에 필수적인 다중 시점 생성을 기존 방식보다 3배 빠르고 더 정확하게 처리하는 기술이 등장했기 때문이다.
핵심 요약
소수의 2D 이미지로부터 3D 콘텐츠를 생성하는 '희소 시점 신규 시점 합성' 문제를 해결하는 NAMVIS 프레임워크를 제안했다. 기존 확산 모델의 반복적 잡음 제거 대신, 이산 시각 토큰을 단계별로 예측하고 모든 토큰을 병렬로 샘플링하는 자동회귀 방식을 사용한다. 멀티스케일 프로젝티브 포즈 인코딩이라는 기법으로 소스·타겟 카메라의 기하학적 변환 정보를 모든 해상도의 셀프-어텐션과 크로스-어텐션에 주입한다. 전체 요약 6문장 읽기 → 058 18:30 ▲ 19 · 댓글 1 영상 기초 모델, 손 추적과 촉각 정보까지 동시 추정 동영상 기초 모델을 기반으로 단일 카메라 영상에서 손 포즈와 촉각 정보를 함께 추정하는 RLHND를 제안했다. AI · 머신러닝 · RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
Key Point 로봇이 인간 영상으로부터 학습할 때 물리적으로 일관된 손 움직임과 접촉 정보가 필요한데, 기존 추적기는 이를 정확히 추정하지 못했습니다. 이 연구는 단일 카메라 영상에서 포즈와 촉각을 동시에 추정함으로써 인간-로봇 모방 학습의 데이터 품질을 크게 개선합니다.
핵심 요약
동영상 기초 모델을 기반으로 단일 카메라 영상에서 손 포즈와 촉각 정보를 함께 추정하는 RLHND를 제안했다. 사전 학습된 Cosmos 3 비디오 확산 모델을 결정론적 특성 추출기로 변환하여 손 움직임과 손-물체 상호작용에 대한 학습된 사전 정보를 추적에 적용한다. 포즈 추정 시 해부학적으로 타당한 관절각도를 예측하고, 동일 영상 또는 같은 배우가 촬영한 영상에서 일관된 손 모양을 유지하도록 선택적 컨디셔닝을 지원한다. 전체 요약 7문장 읽기 → 059 18:30 ▲ 75 · 댓글 2 비디오 생성 속도 11배 빠르게, 압축 자동인코더 호환 유지 비디오 확산 모델의 속도를 높이기 위해 자동인코더를 고도로 압축할 때, 압축률이 높아질수록 재구성 품질이 나빠지고 복구에 더 많은 채널이 필요해 수렴이 느려지는 문제가 있다. AI · 머신러닝 · GRACE: Generation-aware latent compression for efficient video generation
Key Point 비디오 확산 모델 추론 속도의 주요 병목인 토큰 수 감소를 기존 학습 모델 호환성을 해치지 않으면서 달성한 실질적 가속 기술이기 때문이다.
핵심 요약
비디오 확산 모델의 속도를 높이기 위해 자동인코더를 고도로 압축할 때, 압축률이 높아질수록 재구성 품질이 나빠지고 복구에 더 많은 채널이 필요해 수렴이 느려지는 문제가 있다. 압축된 잠재벡터가 기존에 학습된 잠재벡터와 달라져서, 사전학습된 Diffusion Transformer(DiT)를 처음부터 다시 학습하거나 비용이 큰 적응이 필요했다. GRACE는 두 단계로 나뉘는데, 먼저 사전학습된 인코더의 기본 잠재벡터는 고정하고 압축으로 손실된 정보를 위해 잔차 잠재벡터를 학습한다. 전체 요약 6문장 읽기 → 060 18:33 ▲ 20 · 댓글 2 흐름과 확산 모델에서 데이터 망각과 경량화를 동시에 Flow 및 Diffusion 모델 같은 다단계 생성 모델은 고품질 출력을 만들지만 추론 비용이 크고 학습 데이터의 원치 않는 부분을 재현할 수 있다. AI · 머신러닝 · Data Unlearning via Inverse Distillation
Key Point 생성 모델에서 특정 학습 데이터를 제거하면서 동시에 모델 크기를 줄이는 기술이 필요한데, 이 논문이 처음으로 두 목표를 함께 달성하는 방법을 제시했기 때문이다.
핵심 요약
Flow 및 Diffusion 모델 같은 다단계 생성 모델은 고품질 출력을 만들지만 추론 비용이 크고 학습 데이터의 원치 않는 부분을 재현할 수 있다. 역방향 증류 망각(IDU) 기법은 교사 모델을 효율적인 원스텝 학생 생성기로 증류하면서 동시에 지정된 학습 부분집합의 출력을 억제하는 통합 프레임워크다. 증류를 데이터 분포에 대한 민-맥스 목적함수로 정식화하고, 이 분포를 망각 집합과 생성 분포의 혼합으로 표현해 교사의 학습 분포와 비교하면 최적점에서 보존 데이터만 복원된다. 전체 요약 6문장 읽기 → 061 18:35 ▲ 117 · 댓글 3 Kandinsky 6.0 Video, 텍스트로 음성 동기화 영상 생성 Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. AI · 머신러닝 · Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
Key Point 음성과 영상이 완벽하게 동기화된 멀티모달 생성 기술이 오픈소스로 공개되어 영상 제작 자동화와 멀티미디어 연구를 가속할 수 있게 되었습니다.
핵심 요약
Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. 경량 버전(3B 파라미터)과 고성능 버전(29B 파라미터) 두 종류로, 5초 영상과 44 kHz 음성을 립싱크 포함해 생성. 텍스트-오디오-비디오(T2AV)와 이미지-오디오-비디오(I2AV) 모드 지원하며, 내장 초해상화로 1920×1080 풀HD 출력 가능. 전체 요약 8문장 읽기 → 062 18:35 ▲ 60 · 댓글 2 토큰 난이도에 맞춰 계산 할당하는 확산형 언어모델 ALoDLM 확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. AI · 머신러닝 · ALoDLM: Adaptively Looped Diffusion Language Models
Key Point 기존 확산형 언어모델의 품질 격차 원인을 토큰 난이도 측면에서 처음으로 진단하고, 적응형 계산 할당으로 해결한 새로운 접근법이 표준 모델들을 능가했기 때문이다.
핵심 요약
확산형 언어모델(DLM)은 여러 토큰을 병렬로 예측해 빠른 생성을 가능하게 하지만, 같은 크기의 자동회귀(AR) 모델 대비 품질 격차가 실제 적용을 제한하고 있다. 논문은 이 격차의 원인을 계산-난이도 불일치로 분석했다. 부분적으로 관찰된 수열 내에서 일부 미지의 토큰은 쉽게 예측되지만 다른 토큰은 훨씬 더 많은 계산이 필요하다. 기존 DLM은 각 노이즈 제거 단계에서 모든 미지 위치에 동일한 계산 깊이를 적용한다. 전체 요약 9문장 읽기 → 063 18:35 ▲ 35 · 댓글 2 장시간 영상 생성 시 표현 붕괴 문제 해결 기법 제시 자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. AI · 머신러닝 · In-Distribution Forcing for Long Video Generation at Test Time
Key Point 자동회귀 비디오 생성 모델의 장시간 생성에서 흔히 발생하는 표현 붕괴 문제를 근본적으로 해결하는 방식을 제시하며, 분당 단위 길이의 영상 생성을 가능하게 한다.
핵심 요약
자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. 기존 방식은 KV 조건화(캐시된 키-밸류 항목 선택·수정)로 드리프팅을 완화하려 했으나, 훈련 범위를 초과하면 캐시 항목 자체가 분포 외(OOD)가 되는 KV-provenance 문제가 발생한다. 이를 해결하기 위해 In-Distribution Forcing(ID-Forcing)을 제시하는데, 이는 KV 캐싱과 조건화를 훈련 설정과 정렬시키는 테스트타임 프레임워크다. 전체 요약 6문장 읽기 → 064 06:11 ▲ 25 · 댓글 3 로봇 제어를 위한 생성형 디노이징 방식 NowWAM 제안 사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. AI · 머신러닝 · Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
Key Point 기존의 영상 예측 기반 로봇 제어 방식에서 벗어나 더 효율적인 디노이징 방식이 비슷하거나 더 나은 성능을 내면서도 계산량은 절반, 추론 속도는 1.8배 빠르다는 점이 실제 로봇 응용에서 의미가 있습니다.
핵심 요약
사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. 본 논문은 사전학습된 생성형 모델이 행동 학습에 실제로 무엇을 기여하는지, 그리고 제어를 위해 어떻게 적응해야 하는지 묻는다. NowWAM은 현재 관찰을 디노이징하고 같은 시각 스트림에서 로봇 행동을 예측하는 미래-목표-자유 방식의 공동 학습 방식으로, 생성 목표를 디노이징 궤적 전체에서 행동 표현에 직접 연결한다. 전체 요약 7문장 읽기 → 065 06:11 ▲ 18 · 댓글 3 자동회귀 비디오 생성 오류 누적 문제 해결하는 RMD 기법 제안 자동회귀 비디오 확산 모델은 저지연 스트리밍 생성을 가능하게 하지만, 긴 롤아웃 과정에서 예측 오류가 축적되는 문제가 있다. AI · 머신러닝 · Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 오류 축적을 근본적으로 해결하는 새로운 증류 방식이 제시되어, 장시간 고품질 비디오 생성이 필요한 개발자들에게 실질적인 개선 방안을 제공한다.
핵심 요약
자동회귀 비디오 확산 모델은 저지연 스트리밍 생성을 가능하게 하지만, 긴 롤아웃 과정에서 예측 오류가 축적되는 문제가 있다. 기존 기법들은 영상 수준의 분포 매칭 증류(DMD)를 통해 전체 롤아웃을 함께 평가하는데, 이로 인해 각 청크가 주변 맥락의 인공물과 어울리도록 조정되어 시각 품질 신호가 희석된다. 연구진은 롤아웃-마진 증류(RMD)를 제안했으며, 이는 생성된 히스토리는 유지하되 각 청크를 독립적으로 청크 교사에 대해 평가한다. 전체 요약 6문장 읽기 → 066 18:11 ▲ 52 · 댓글 2 마스크 기반 확산 모델의 학습 효율성을 높이는 Pivot-SD 마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. AI · 머신러닝 · Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Key Point 마스크 기반 확산 모델의 학습 비효율을 지목하고, 고영향 결정점만 선별 학습하는 새로운 자기증류 방식이 소규모 데이터로도 기존 방법을 능가하는 결과를 보여준다.
핵심 요약
마스크 확산 언어 모델(dLM)은 자동회귀 모델 대안으로서 복잡한 추론에 유망하지만, 노이징 제거 중 일부 토큰 결정이 나머지 마스크 위치의 불확실성을 급격히 줄이는 신용 배치 문제를 마주한다. 기존 dLM 학습 방식은 이러한 신호를 활용하지 않으며, 최종 텍스트나 전체 노이징 단계에 보상을 할당하는 방식으로 개별 핵심 토큰 결정을 선별하지 않는다. Pivot-SD는 오프라인 자기증류 프레임워크로서, 오직 응답 형성에 큰 영향을 미치는 핵심 결정점(pivot)만을 감독한다. 전체 요약 5문장 읽기 → 067 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 068 12:11 ▲ 19 · 댓글 2 의미·기하 구조 동시 학습, 픽셀 확산 모델 성능 끌어올리다 Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다. AI · 머신러닝 · PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
Key Point 의미 정보와 기하 정보를 분리해 학습하는 구조적 혁신으로 텍스트-이미지 생성부터 이미지 편집까지 여러 작업에서 동시에 성능을 끌어올렸으며, 전통적 단일 정렬 방식의 한계를 넘었다.
핵심 요약
Representation alignment(REPA)는 확산 트랜스포머 학습을 가속화하는 기법인데, 기존엔 의미 정보(DINOv2, CLIP)만을 정렬 대상으로 삼았다. 최근 분석이 정렬 효과의 핵심이 의미 정보가 아닌 공간 구조(spatial structure)임을 지적했으나, 그러한 구조를 예측하도록 훈련된 기초 모델들은 간과되어 왔다. 픽셀 공간 확산에서 SAM2, Depth Anything v2, Metric3D v2는 DINOv2 단독 기준보다 우수하며, 특히 기하 정보를 학습하는 모델들이 분할 모델을 앞선다. 전체 요약 10문장 읽기 → 069 03:11 ▲ 25 · 댓글 2 이미지·텍스트 동시 생성하는 연속형 확산 모델 공개 Multimodal Flow는 텍스트와 이미지를 모두 연속적으로 생성하는 통합 생성 모델로, 기존 모델처럼 이미지를 양자화하거나 텍스트·이미지 생성 과정을 달리할 필요가 없다. AI · 머신러닝 · Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
Key Point 텍스트와 이미지를 진정으로 통합되는 한 가지 방식으로 모두 생성할 수 있다면, 멀티모달 모델의 아키텍처가 단순해지고 더 나은 성능을 낼 수 있다는 점을 실증한다.
핵심 요약
Multimodal Flow는 텍스트와 이미지를 모두 연속적으로 생성하는 통합 생성 모델로, 기존 모델처럼 이미지를 양자화하거나 텍스트·이미지 생성 과정을 달리할 필요가 없다. 텍스트 블록과 이미지를 순서가 있는 연속적 하이퍼청크로 구성하며, Flow Matching을 통해 이들 위의 단일 벡터장을 학습한다. 크로스 모달 상호작용을 위해 공동 어텐션을 사용하고, 각 모달리티별 피드포워드 네트워크로 처리한다. 전체 요약 7문장 읽기 → 070 21:11 ▲ 60 · 댓글 2 적응형 전문가 혼합으로 확산 모델의 소수 단계 생성 개선 마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다. AI · 머신러닝 · E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
Key Point 확산 모델의 가장 큰 장점인 소수 단계 고속 생성을 개선하는 새로운 방법으로, 기존 접근법의 근본적인 문제(후방 붕괴)를 회피하면서 매개변수 효율성을 유지한다.
핵심 요약
마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다. 최근 연구는 위치 간 상관관계를 포착하기 위해 변분 자동인코더로 학습된 연속 가우시안 잠재변수를 도입했으나, 이러한 접근법은 잠재변수가 무시되는 후방 붕괴(posterior collapse) 문제에 빠지기 쉽다. 본 논문은 강화된 혼합-전문가(E-MoE) 방법을 제안하며, MoE 백본의 전문가 라우팅 결정으로 주어진 이산 공유 잠재변수에 대한 분해된 분포의 혼합으로 역프로세스를 구성한다. 전체 요약 5문장 읽기 → 071 21:11 ▲ 51 · 댓글 2 다중 에이전트 경로 탐색, 반복적 의도 정제로 충돌 해결 다중 에이전트 경로 탐색(MAPF)에서 에이전트들이 독립적으로 행동을 샘플링할 때, 각 에이전트의 선택은 타당해도 결합하면 충돌하는 문제가 발생한다. AI · 머신러닝 · Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding
Key Point 분산형 다중 에이전트 시스템에서 각 에이전트가 독립적으로 결정할 때 발생하는 조정 실패를 반복적 정제로 해결하는 새로운 방식으로, 경로 탐색 성능 한계를 크게 개선한다.
핵심 요약
다중 에이전트 경로 탐색(MAPF)에서 에이전트들이 독립적으로 행동을 샘플링할 때, 각 에이전트의 선택은 타당해도 결합하면 충돌하는 문제가 발생한다. DMM(Decentralized Master-Mind)은 일회성 샘플링 대신 확산 모델의 노이징 제거에서 영감을 얻은 반복적 의도 정제 방식을 제안한다. 에이전트들이 무작위 행동 의도로 시작해 통신을 통해 지역적으로 선택을 조정한 뒤 최종 결정을 내린다. 전체 요약 6문장 읽기 → 072 12:11 ▲ 124 · 댓글 2 동영상 생성 AI의 음성-영상 동기화를 위한 적응형 보상 라우팅 기법 오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. AI · 머신러닝 · Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
Key Point 음성-영상 생성 AI의 동기화와 품질을 동시에 높이는 새로운 최적화 기법으로, 여러 목표가 충돌할 때 동적으로 가중치를 조정하는 방식이 향후 멀티모달 생성 모델 개선의 방향을 제시한다.
핵심 요약
오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. 논문은 Adaptive Reward Routing이라는 새로운 방법을 제안하며, 이는 음성 품질, 영상 품질, 교차-모달 의미 일치, 시간적 동기화 등 여러 목표를 동시에 최적화한다. 첫 번째 구성 요소는 Cross-Modal Influence-Guided Routing으로, 양방향 교차-주의 응답을 이용해 변화하는 모달 간 영향을 추적하면서 토큰별 손실을 동적으로 재가중화하고 그래디언트를 조정한다. 전체 요약 6문장 읽기 → 073 15:11 ▲ 35 · 댓글 2 고압축·고속학습 이미지생성 모델, DC-SAE 공개 이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. AI · 머신러닝 · DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence
Key Point 고압축 토크나이저는 대규모 이미지 생성 모델의 학습 효율을 좌우하는데, DC-SAE가 압축률과 학습 속도 양쪽을 동시에 개선하는 방법을 제시한다.
핵심 요약
이미지 생성 모델을 고도로 압축하면 학습 속도가 느려지는 기본적 트레이드오프가 발생한다. 기존 의미 기반 오토인코더는 중간 수준 압축에만 제한되고 픽셀 수준의 세부정보를 잃어 정확한 복원이 어렵다. DC-SAE는 의미 기반 인코더로 높은 압축을 가능하게 하고, 픽셀 수준 인코더로 저수준 세부정보를 보존한다. 전체 요약 6문장 읽기 → 074 15:11 ▲ 42 · 댓글 2 마스크형 확산 모델, 언제 전략 바꿀까 마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다. AI · 머신러닝 · Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
Key Point 마스크형 확산 모델의 생성 과정에서 어떤 상황에서 추론 전략을 동적으로 바꿔야 효율적인지를 실증적으로 규명해, 모델 최적화의 실질적 가이드라인을 제시한다.
핵심 요약
마스크형 확산 언어모델(MDM)은 자유로운 생성 순서를 허용해 언마스킹 전략이 추론 시점의 선택이 된다. 스코어·카디널리티·영역·커미트먼트·플래닝 5개 축으로 MDM 추론을 분류하고, 고정된 선택보다 더 나은 행동의 한 단계 효용 차이를 '적응 기회'로 정의했다. 3개 MDM과 10개 테스크를 검증한 결과, 적응 기회는 매우 이질적이며 일부 상황에서는 집중된 예측 가능한 일단계 이득을 보였다. 전체 요약 5문장 읽기 → 075 15:11 ▲ 25 · 댓글 2 동영상 생성 모델의 '일괄 증류' 기술 공개 동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. AI · 머신러닝 · LongLive-Plug: Once-for-All Distillation for Video Generation
Key Point 동영상 생성 모델 특화로 인한 반복 학습 비용을 획기적으로 줄이는 기술로, 실제 배포된 54개 모델에서 검증되었기 때문에 현실성 있는 효율화 방안을 제시한다.
핵심 요약
동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. LongLive-Plug는 한 번의 학습으로 여러 모델에 재사용 가능한 기능을 LoRA로 학습하는 일괄 증류 프레임워크다. 단일 패스 분류기 없는 가이던스, 소수 단계 샘플링, 자동회귀 생성의 장기 맥락 오류 보정 기능을 제공한다. 전체 요약 8문장 읽기 → 076 21:11 ▲ 20 · 댓글 1 동영상 생성 자동회귀 확산 모델의 캐시 재사용으로 1.7배 고속화 자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. AI · 머신러닝 · In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion
Key Point 프롬프트-기반 동영상 생성 서비스 개발 시 캐시 재사용과 양방향 조건부 생성으로 생성 속도를 높이는 구체적인 기술적 해법을 제시하므로, 장시간 영상 생성이 필요한 실무 개발자에게 실질적 개선 방안을 보여준다.
핵심 요약
자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. FlashForward는 각 노이즈 제거 단계 중에 자동으로 생성되는 현재 청크의 KV 캐시를 다음 청크에서 직접 재사용해 캐시 업데이트 전용 순전파를 제거한다. 이 방식은 여러 GPU를 각 단계에 할당해 서로 다른 청크가 동시에 서로 다른 단계를 점유하도록 해 병렬 처리 효율을 높인다. 전체 요약 7문장 읽기 → 077 18:11 ▲ 10 · 댓글 2 확산 모델의 생성 과정으로 이미지 품질 평가하기 Reference-based 이미지 품질 평가(IQA) 지표는 인간이 인식하는 이미지 쌍 간의 지각적 거리를 반영하려 한다. AI · 머신러닝 · FoMo: Forking Moment in Generative Trajectory as a Perceptual Distance
Key Point diffusion 모델의 생성 과정이 인간 시각 인식과 일치한다는 발견으로, 비용 많이 드는 인간 주석 없이도 이미지 품질 평가 모델을 학습할 수 있는 새로운 방식을 제시한다.
핵심 요약
Reference-based 이미지 품질 평가(IQA) 지표는 인간이 인식하는 이미지 쌍 간의 지각적 거리를 반영하려 한다. 기존 방식은 인간이 주석을 단 Mean Opinion Score(MOS) 데이터에 의존하는데, 대규모 수집이 비용이 크고 인간 판단의 불일치로 인해 노이즈가 많다. 2AFC(2-alternative forced choice) 쌍비교 라벨은 신뢰도가 높지만 상대적 비교만 포착한다. 전체 요약 9문장 읽기 → 078 18:11 ▲ 15 · 댓글 2 DiT의 잔차 연결을 재설계해 이미지 생성 성능 향상 Diffusion Transformers(DiT)는 이미지 합성의 확장 가능한 기반 모델이지만, 기존 U-Net 모델의 수작업 스킵 연결과 달리 모든 층의 출력을 단순히 누적하는 단일 잔차 흐름을 사용한다. AI · 머신러닝 · Structured Residual Connectivity Matters for Diffusion Transformers
Key Point Diffusion Transformer의 성능을 좌우하는 잔차 연결 구조를 근본적으로 개선하는 방법론이 제시되어, 향후 이미지 생성 모델 설계의 새로운 기준이 될 가능성이 있다.
핵심 요약
Diffusion Transformers(DiT)는 이미지 합성의 확장 가능한 기반 모델이지만, 기존 U-Net 모델의 수작업 스킵 연결과 달리 모든 층의 출력을 단순히 누적하는 단일 잔차 흐름을 사용한다. 연구팀은 DiT의 내부 표현을 체계적으로 분석해 초기 층의 특성 재사용과 대칭적 층 가이던스를 중시하는 경향을 발견했다. 이를 바탕으로 각 트랜스포머 블록이 이전 층의 중요한 표현을 선택적으로 '주목'하고, 직접적이고 미분 가능한 크로스-뎁스 경로를 통해 공간적·의미적 정보를 동적으로 검색하는 적응형 연결 메커니즘을 제안했다. 전체 요약 7문장 읽기 → 079 22:26 ▲ 13 · 댓글 2 사전학습 확산 모델로 스트리밍 비디오 실시간 편집 SVEET은 사전학습된 양방향 비디오 확산 모델을 활용하면서 자회귀 방식으로 고품질 스트리밍 비디오 편집을 지원하는 프레임워크다. AI · 머신러닝 · Streaming Video Editing with Easy Adaptation
Key Point 비디오 편집의 실시간 스트리밍 처리가 GPU 한 개에서 15 FPS로 구현되면서 실제 응용 가능성이 높아졌으며, 사전학습 모델 활용으로 학습 비용을 줄인 점이 산업 적용의 진입장벽을 낮춘다.
핵심 요약
SVEET은 사전학습된 양방향 비디오 확산 모델을 활용하면서 자회귀 방식으로 고품질 스트리밍 비디오 편집을 지원하는 프레임워크다. 기존 비디오-투-비디오 확산 방식을 재검토해 스트리밍 적응의 두 가지 핵심 원칙을 도출했다: 백본 특징 분리와 조건부 프레임 독립성. 보조 모델 브랜치가 시간 독립적 자기 주의로 소스 비디오를 인코딩하고, 중간 특징을 백본 블록에 주입해 스트리밍 호환 제어를 구현한다. 전체 요약 6문장 읽기 → 080 15:11 ▲ 25 · 댓글 2 비디오 확산 모델이 물리법칙을 위반하는 이유 텍스트-투-비디오 확산 모델이 우수한 화질에도 불구하고 현실 물리법칙을 위반하는 영상을 생성한다. AI · 머신러닝 · Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms
Key Point 비디오 생성 AI의 핵심 약점인 물리법칙 위반을 어텐션 메커니즘 수준에서 진단하고, 모델 재설계 없이 적용 가능한 경량 해법을 제시한다.
핵심 요약
텍스트-투-비디오 확산 모델이 우수한 화질에도 불구하고 현실 물리법칙을 위반하는 영상을 생성한다. 연구팀이 모션 계획 과정을 분석해 초기 노이징 제거 단계에서 동작 궤적이 형성되는 방식을 규명했다. Rotary Position Embedding(RoPE)이 과도한 공간 주의 감소를 야기해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되는 것을 발견했다. 전체 요약 5문장 읽기 → 081 16:18 ▲ 146 · 댓글 4 비디오 세계 모델 WorldCrafter, 3D 메모리로 긴 시간 일관성 확보 비디오 세계 모델이 장시간 여러 시점에서 일관된 장면을 생성하기 어려운 문제를 해결하는 WorldCrafter 모델을 제시했다. AI · 머신러닝 · WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Key Point 비디오 생성 AI의 가장 큰 약점인 시간적 일관성 문제를 3D 메모리 구조로 근본적으로 해결하는 접근법으로, 향후 인터랙티브 비디오 생성 시스템의 품질을 크게 개선할 수 있는 기술이다.
핵심 요약
비디오 세계 모델이 장시간 여러 시점에서 일관된 장면을 생성하기 어려운 문제를 해결하는 WorldCrafter 모델을 제시했다. 요청한 시점에 따라 과거 관찰 데이터를 3D 인식 메모리로 압축해 비디오 생성 모델의 토큰 제약을 효율적으로 활용한다. 메모리 인코더와 포즈 조건 읽기 모듈이 역사 정보를 시점별 토큰으로 통합하되, 명시적 깊이 대응 없이 학습된다. 전체 요약 4문장 읽기 → 082 20:31 당일 +132 Unsloth, 로컬에서 LLM과 확산 모델 학습할 수 있는 데스크톱 앱 공개 로컬에서 LLM, 확산, 임베딩, 오디오 모델을 실행하고 학습할 수 있으며 Kimi K3, DeepSeek-V4, Gemma 4 등을 지원한다. AI · 머신러닝 · unslothai/unsloth · Python
Key Point 로컬 AI 모델 실행·학습을 간편하게 만드는 도구로서 개발자가 클라우드 비용 없이 자체 서버에서 LLM을 운영할 수 있게 해주는 점이 주목받고 있다.
핵심 요약
로컬에서 LLM, 확산, 임베딩, 오디오 모델을 실행하고 학습할 수 있으며 Kimi K3, DeepSeek-V4, Gemma 4 등을 지원한다. 미세조정 시 학습 속도를 2배 빠르게 하면서 VRAM 사용량을 70% 줄일 수 있고 LoRA, QLoRA, GRPO, DPO 등 다양한 훈련 방식을 지원한다. Tauri 기반 데스크톱 앱으로 제공되며 Windows, macOS, Linux 등 여러 플랫폼을 지원하고 Cloudflare를 통한 원격 접근도 가능하다.