쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 17일 (화)까지 4750건
21건 · "디노이징"조건 지우기 ×
001 18:11 ▲ 35 · 댓글 3 다단계 디노이징 중 환각 제거, 마스크된 확산 언어 모델에 새로운 방법 마스크된 확산 언어 모델(MDLM)은 반복적 개선으로 강한 전역 모델링 성능을 보이지만, 디노이징 과정에서 일부 단계에서 엔트로피 스파이크가 나타나며 이것이 환각과 밀접히 연관되어 있습니다. AI · 머신러닝 · Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
Key Point 마스크된 확산 언어 모델의 환각 문제를 구체적인 원인(엔트로피 스파이크)로 진단하고 단계별 개선으로 해결하는 방법이 여러 모델에서 검증되었기 때문에, 멀티모달 모델 개발팀이 바로 적용할 수 있습니다.
핵심 요약
마스크된 확산 언어 모델(MDLM)은 반복적 개선으로 강한 전역 모델링 성능을 보이지만, 디노이징 과정에서 일부 단계에서 엔트로피 스파이크가 나타나며 이것이 환각과 밀접히 연관되어 있습니다. 연구팀은 각 디노이징 단계의 엔트로피를 이웃 시간 윈도우와 비교해 이상 단계를 식별할 수 있다고 발견했습니다. 문제는 이산 토큰 커밋이 마스크된 위치의 분포 정보를 버려서, 엔트로피 스파이크 시 후보 의미론과 문맥 간 상호작용이 제한된다는 것입니다. 전체 요약 7문장 읽기 → 002 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 003 18:11 ▲ 101 · 댓글 3 확인된 부분만 처리하는 비전-언어 모델, 연산 35% 수준으로 줄인다 Diffusion 기반 비전-언어 모델(DVLM)은 모든 디노이징 단계에서 전체 입력을 처리하는데, 이 중 시각 토큰이 89~97%를 차지해 대부분의 연산이 이미지 재처리에 낭비된다. AI · 머신러닝 · Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
Key Point 비전-언어 모델의 추론 속도를 현격히 높이는 기술로, 대규모 멀티모달 모델을 실제 제품에 적용하려는 개발자들에게 중요한 최적화 방안을 제시한다.
핵심 요약
Diffusion 기반 비전-언어 모델(DVLM)은 모든 디노이징 단계에서 전체 입력을 처리하는데, 이 중 시각 토큰이 89~97%를 차지해 대부분의 연산이 이미지 재처리에 낭비된다. 연구팀이 LLaDA-V 모델의 예측을 검토한 결과, 이미지 제거 시 토큰 언마스킹이 변하는 경우가 평균 22.8%, 최저 7.9%에 불과했다. LOWN이라는 새로운 디코딩 방식을 제안했으며, 매 단계마다 이미지 처리 여부와 언마스킹할 토큰 수를 동적으로 결정한다. 전체 요약 7문장 읽기 → 004 21:11 ▲ 37 · 댓글 2 로봇 정책 학습의 미래 프레임 예측 성능 개선 World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. AI · 머신러닝 · Self-Distilling Future Video Representations for World Action Models
Key Point 미래 프레임 표현을 한 단계로 정확히 예측하는 기술이 로봇의 장기 작업 수행과 인간 시연 영상 학습 성능을 크게 높이기 때문에, 로봇 학습의 실용화를 앞당기는 중요한 진전이다.
핵심 요약
World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. 이 설계에서 액션 예측이 미래 표현의 품질에 직접 영향을 받기 때문에, 노이즈로부터 단일 단계로 미래 표현 품질을 높이는 것이 중요하다. 논문은 FRED(Future REpresentation learning via self-Distillation with temporal context) 프레임워크를 제시한다. 전체 요약 9문장 읽기 → 005 15:11 ▲ 23 · 댓글 3 영상 생성 AI의 주의 계산 최적화, 훈련 없이 처리 시간 단축 비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. AI · 머신러닝 · Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Key Point 비디오 생성 모델의 추론 속도를 실질적으로 단축할 수 있는 실용적 최적화 방법을 제시하며, 훈련 없이 적용 가능해 즉시 도입할 수 있다.
핵심 요약
비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. 연구팀은 다른 레이어와 디노이징 단계에서 어텐션 스파시티를 줄일 때 최종 영상 품질에 영향을 주는 정도가 크게 다르다는 것을 발견했다. 중요한 발견은 품질에 가장 민감한 레이어-단계 조합이 입력 데이터에 관계없이 거의 변하지 않는다는 점이다. 전체 요약 8문장 읽기 → 006 15:11 ▲ 158 · 댓글 2 자동회귀 동영상 생성에 미래 청크 예측 더하기 자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. AI · 머신러닝 · Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 시간적 진화를 제대로 모델링하는 훈련 기법이 기존 방식보다 적은 계산량으로 물리적 타당성을 높이는 방법을 제시했다.
핵심 요약
자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. 교사 강제(teacher forcing) 훈련에서 강한 시간적 중복성이 로컬 시각 연속성을 지름길 삼아 실제 시각 진화 모델링 압력을 감소시킨다. 연구팀은 Future Chunk Prediction(FCP)라는 보조 목표함수를 제시했으며, 이는 교사 강제 디노이징과 함께 학습된다. 전체 요약 7문장 읽기 → 007 15:11 ▲ 37 · 댓글 2 확산 모델의 오차 누적을 잡는 보정 기법 확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. AI · 머신러닝 · Correction Training for Diffusion Models
Key Point 확산 모델의 근본적인 학습-추론 갭을 단순한 보정 기법으로 해결하고 CFG 없이도 고품질 샘플을 생성할 수 있게 됨으로써, 현재 텍스트-이미지 생성 모델의 성능 천장을 높일 수 있는 방법을 제시합니다.
핵심 요약
확산 모델의 반복 샘플링에서 노출 편향으로 인한 오차 누적 문제가 발생한다: 디노이저는 실제 이미지에 노이즈를 섞은 데이터로 학습하지만, 추론 시에는 자신의 불완전한 예측으로 만든 입력을 받게 된다. 이런 학습-추론 갭을 줄이기 위해 보정 단계(corrector)를 도입한다: 보정 모델은 기본 모델의 예측을 입력받아 같은 정답을 목표로 학습한다. 샘플링 중 각 디노이징 단계마다 보정 모델이 예측을 반복적으로 정제하며, 중간 단계의 아티팩트가 최종 샘플로 전파되는 것을 방지한다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 23 · 댓글 2 확산 모델 강화학습을 위한 라우팅 정책 최적화 기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. AI · 머신러닝 · Routing Policy Optimization for Online Diffusion Reinforcement Learning
Key Point 생성 모델을 보상 신호로 정렬할 때 훈련 효율을 4배 향상시키면서도 추론 시 모델의 원래 특성을 유지하는 새로운 강화학습 기법이 제시되어, 확산 모델 최적화의 실질적 한계를 해결한다.
핵심 요약
기존 강화학습 방식은 역방향 디노이징 궤적을 섭동하여 비용이 많이 드는 롤아웃 기반 최적화를 수행하는데, 생성 모델 내부에서 확률적 탐색을 도입하면서 원래의 샘플러를 보존할 수 있는지 묻는 새로운 접근을 제시했다. Routing Policy Optimization (RPO)는 어텐션 라우팅을 확률적 탐색 행동으로 변환하여 이를 답한다. 선택된 몇 개의 디노이징 단계에서 각 쿼리 블록은 자신의 블록을 유지하면서 생성 모델의 자연스러운 어텐션 질량에 비례하여 추가 키 블록을 샘플링하거나 밀집 어텐션을 유지한다. 전체 요약 9문장 읽기 → 009 00:11 ▲ 45 · 댓글 2 극한 압축으로 확산 모델 가속화하는 APEX 등장 확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. AI · 머신러닝 · APEX: Asynchronous Prefix Denoising for Extreme Compression
Key Point 확산 모델의 토큰 수를 획기적으로 줄이면서도 생성 품질을 유지할 수 있는 방법으로, 추론 속도와 비용에 민감한 생성형 AI 서비스 개발에 직접 영향을 미친다.
핵심 요약
확산 모델의 레이턴시 토큰을 극단적으로 압축하면 재구성과 생성 사이의 트레이드오프가 발생한다. APEX는 계층적 레이턴시 공간과 채널 그룹별 비동기 디노이징을 결합한 새로운 방식이다. 오토인코더가 채널 프리픽스를 구조에서 세부사항 순서로 정렬하고, 공유된 단일 디노이저가 토큰을 추가하지 않고 엇갈린 시간에 생성한다. 전체 요약 6문장 읽기 → 010 15:11 ▲ 75 · 댓글 2 병렬 디코딩으로 시각 위치 추정을 빠르게—GroundAnything 논문 기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. AI · 머신러닝 · GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed
Key Point 시각 위치 추정(visual grounding)의 속도와 정확성 양립 문제를 해결하는 새 방법론으로, 실시간 응용이 필요한 실무 시스템에서 바로 적용 가능한 기술입니다.
핵심 요약
기존 자동 회귀(AR) 방식의 시각 그라운딩 모델은 위치 예측을 순차적으로 처리해서 지연 시간이 크다. GroundAnything은 그라운딩을 '영상에서 시각 증거 추출'로 재정의하고, 개별 객체와 위치의 공간 관계가 좌에서 우로의 생성 순서를 따를 필요 없다고 본다. 이를 위해 양방향 확산(bidirectional diffusion) 방식을 적용해 공간 가설들을 병렬로 생성하고 반복 디노이징으로 공동 정제한다. 전체 요약 8문장 읽기 → 011 18:12 ▲ 20 · 댓글 2 다양한 이미지 생성 모델을 하나로 연결하는 InstantFusion Diffusion/Flow 기반 이미지 생성 모델들이 다양해지면서 서로 다른 아키텍처와 표현방식을 가지게 되었으나, 모델 간 잠재 표현의 정렬과 디노이징 과정의 일관성에 대한 연구는 부족했다. AI · 머신러닝 · InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
Key Point 서로 다른 이미지 생성 모델들을 하나의 인터페이스로 통일하면 생성 파이프라인 최적화와 모델 재사용성이 크게 향상될 수 있기 때문입니다.
핵심 요약
Diffusion/Flow 기반 이미지 생성 모델들이 다양해지면서 서로 다른 아키텍처와 표현방식을 가지게 되었으나, 모델 간 잠재 표현의 정렬과 디노이징 과정의 일관성에 대한 연구는 부족했다. 연구팀은 독립적으로 학습된 생성 모델들이 비슷한 잠재 공간 구조를 갖고 있으며, 정렬되지 않은 모델 간에도 중간 상태를 직접 전달하면 기본적인 시각 정보가 유지된다는 흥미로운 호환성을 발견했다. 이를 바탕으로 InstantFusion이라는 경량 공유 잠재 인터페이스를 제안했으며, 이는 서로 다른 구조의 이미지 생성 모델들의 디노이징 과정을 연결한다. 전체 요약 7문장 읽기 → 012 15:13 ▲ 52 · 댓글 2 다중 에이전트 1인칭 시점 세계 모델, 미세한 상호작용 구현 1인칭 시점 세계 모델은 에이전트의 행동에 따른 관찰을 예측하지만, 기존 연구는 단일 에이전트에 집중했다. AI · 머신러닝 · Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
Key Point 실제 로봇이나 현실의 멀티에이전트 환경 시뮬레이션에서 미세한 상호작용(팔 움직임, 물체 조작 등)까지 정확히 모델링해야 하는 연구자와 엔지니어에게 필요한 기술적 진전이다.
핵심 요약
1인칭 시점 세계 모델은 에이전트의 행동에 따른 관찰을 예측하지만, 기존 연구는 단일 에이전트에 집중했다. 현실의 구체화된 환경에서는 여러 에이전트가 공유된 환경에서 미세한 동작을 통해 상호작용하는데, 이는 대부분의 기존 멀티에이전트 세계 모델에서 충분히 다뤄지지 않았다. 연구팀은 멀티에이전트 이고센트릭 세계 모델링을 여러 에이전트의 동기화된 1인칭 스트림 생성으로 정식화했고, 이는 교차 시점 행동 일관성, 공유 환경 일관성, 상호작용으로 인한 상태 업데이트 전파를 요구한다. 전체 요약 6문장 읽기 → 013 18:30 ▲ 53 · 댓글 3 시각·언어·행동을 통합한 로봇 모델 UniWAM, 다중 작업에서 최고 성능 달성 비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. AI · 머신러닝 · UniWAM: Unified World-Action Model
Key Point 로봇 학습에서 시각 이해와 행동 예측을 한 모델로 통합하는 접근법이 어떻게 작동하는지, 그리고 인간 데이터와 로봇 데이터를 함께 사용했을 때의 스케일링 효과를 보여주는 연구로, 구체화된 AI 시스템의 확장성을 이해하는 데 도움이 된다.
핵심 요약
비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. 물리 추론기, 월드 생성기, 액션 예측기를 하나로 통합해 의미론적 이해, 시각 생성, 행동 예측을 동시에 학습한다. 저수준 행동을 자연언어로 표현하고, VQA 데이터·인간 이고센트릭 영상·로봇 시연으로 사전학습한다. 전체 요약 8문장 읽기 → 014 18:33 ▲ 14 · 댓글 1 확산 언어 모델의 취약점: 피드백 제어로 편향 주입 공격 마스크드 확산 언어 모델(dLLM)은 토큰을 여러 번 재예측하면서 반복적으로 디노이징하므로, 각 토큰이 확정되기 전에 생성 확률이 여러 단계에서 노출된다. AI · 머신러닝 · Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering
Key Point 마스크드 확산 언어 모델이 기존 자동회귀 모델과 달리 여러 단계에서 답변을 노출하는 특성을 악용한 새로운 공격 벡터가 발견되었으며, 피드백 제어로 편향 주입 효과를 크게 증폭할 수 있다는 점이 주목할 만하다.
핵심 요약
마스크드 확산 언어 모델(dLLM)은 토큰을 여러 번 재예측하면서 반복적으로 디노이징하므로, 각 토큰이 확정되기 전에 생성 확률이 여러 단계에서 노출된다. 연구진은 내부 활성화에 접근 가능한 공격자가 이러한 디노이징 궤적을 악용해 모델을 특정 인구통계학적 답변으로 유도하는 '표적 편향 주입' 공격을 개발했다. 공격은 비례-적분(PI) 제어기를 사용해 디노이징 과정 중 목표 답변 확률을 추적하고, 조향 벡터의 강도를 실시간으로 조정한다. 전체 요약 7문장 읽기 → 015 18:33 ▲ 13 · 댓글 2 로봇 정책 호출 줄인 VLA 모델, 부드러운 동작 가능해졌다 Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. AI · 머신러닝 · When to Switch: Reliable Action-Chunk Extension for Vision-Language-Action Models
Key Point 로봇이 정책을 자주 호출할 때 발생하는 정지 구간을 없애면서도 신뢰도를 유지하는 방법이 실제 로봇에서 5배의 시간 절감을 이뤄 실용적 가치가 크다.
핵심 요약
Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. 액션 청크(action chunk)를 늘리면 정책 호출과 일시 정지를 줄일 수 있지만, 더 먼 미래를 예측하다 보니 장시간 청크 실행의 신뢰도가 떨어진다. 연구팀은 장시간 청크 내 액션 오류를 분석했고, 오류가 조작 서브스킬 간의 전환 지점에 집중되며 청크 길이에 따라 급격히 증가함을 발견했다. 전체 요약 6문장 읽기 → 016 18:33 ▲ 12 · 댓글 2 로봇 동작 예측을 25배 빠르게 하는 원스텝 AI 모델 World Action Models(WAM)은 비디오 생성 모델에서 시각 정보를 추출해 로봇의 동작 예측을 안내하는데, 기존 효율형 모델도 멀티스텝 디노이징과 전문가 모듈 간 순차 대기로 인해 느렸다. AI · 머신러닝 · RealtimeWAM: One-Step Asynchronous World Action Models
Key Point 비디오 생성 기반 로봇 동작 모델의 추론 속도를 극적으로 개선하는 기술이 공개되었으며, 성능 손실 거의 없이 25배 가속을 달성해 실시간 로봇 제어 애플리케이션을 가능하게 한다.
핵심 요약
World Action Models(WAM)은 비디오 생성 모델에서 시각 정보를 추출해 로봇의 동작 예측을 안내하는데, 기존 효율형 모델도 멀티스텝 디노이징과 전문가 모듈 간 순차 대기로 인해 느렸다. RealtimeWAM은 원스텝 동작 생성과 비동기 추론으로 이 두 병목을 해결한다. 멀티스텝 반복을 줄이기 위해 Teacher-Anchored Consistency Distillation(TACD)을 제안했는데, 이는 국소 일관성 오차만으로는 정확한 최종 동작을 보장할 수 없다는 문제를 해결하고 동결된 교사 모델의 멀티스텝 롤아웃 결과로 명시적 감독을 추가한다. 전체 요약 7문장 읽기 → 017 06:11 ▲ 25 · 댓글 3 로봇 제어를 위한 생성형 디노이징 방식 NowWAM 제안 사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. AI · 머신러닝 · Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
Key Point 기존의 영상 예측 기반 로봇 제어 방식에서 벗어나 더 효율적인 디노이징 방식이 비슷하거나 더 나은 성능을 내면서도 계산량은 절반, 추론 속도는 1.8배 빠르다는 점이 실제 로봇 응용에서 의미가 있습니다.
핵심 요약
사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. 본 논문은 사전학습된 생성형 모델이 행동 학습에 실제로 무엇을 기여하는지, 그리고 제어를 위해 어떻게 적응해야 하는지 묻는다. NowWAM은 현재 관찰을 디노이징하고 같은 시각 스트림에서 로봇 행동을 예측하는 미래-목표-자유 방식의 공동 학습 방식으로, 생성 목표를 디노이징 궤적 전체에서 행동 표현에 직접 연결한다. 전체 요약 7문장 읽기 → 018 21:11 ▲ 80 · 댓글 2 로봇 움직임 미리보기로 장시간 작업 계획하는 ProWAM 로봇 제어용 월드 액션 모델(WAM)은 초기 관찰과 명령으로부터 시각적 역학과 행동을 동시에 예측하지만, 긴 시간 범위의 예측에서 어려움을 겪는다. AI · 머신러닝 · World Action Modeling with Progressive Visual Planning
Key Point 로봇 제어 분야에서 시각적 중간 목표를 통해 긴 수열의 작업을 효율적으로 계획하고, 현실 환경에서도 높은 성공률을 달성한 새로운 접근법이 소개됐다.
핵심 요약
로봇 제어용 월드 액션 모델(WAM)은 초기 관찰과 명령으로부터 시각적 역학과 행동을 동시에 예측하지만, 긴 시간 범위의 예측에서 어려움을 겪는다. 기존 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하는 방식도 있으나, 목표 달성 과정을 안내하지 못한다는 한계가 있다. ProWAM은 행동과 순서가 정해진 희소 시각적 서브골(중간 목표)의 시퀀스를 함께 예측해, 작업 실행 중 행동 생성을 위한 명시적 시각 안내를 제공한다. 전체 요약 8문장 읽기 → 019 15:11 ▲ 247 · 댓글 3 멀티모달 AI가 자기 피드백으로 스스로 성장하는 방법 현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. AI · 머신러닝 · UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
Key Point 외부 감독 없이 AI 모델이 자신의 비판적 피드백으로 스스로 개선되는 메커니즘을 제시해, 모델 성능 향상의 새로운 가능성을 보여준다.
핵심 요약
현대 멀티모달 모델은 생성과 이해를 하나의 시스템에 통합해 자신의 피드백으로부터 학습할 수 있는 잠재력을 가지고 있다. UniEvo-VL은 이러한 능력을 활용해 모델이 테스트 타임에 자기수정 피드백으로부터 배우도록 하는 자기진화 프레임워크다. 별도의 큰 교사 모델에 의존하는 대신, 단일 멀티모달 모델이 서로 다른 맥락에서 교사와 학생 역할을 동시에 수행한다. 전체 요약 8문장 읽기 → 020 18:11 ▲ 29 · 댓글 2 한 번의 단계로 4K 영상 생성하는 비디오 정제 기법 발표 저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. AI · 머신러닝 · SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video
Key Point 고해상도 비디오 생성의 계산 비용을 획기적으로 줄이면서도 품질을 유지하는 방법론으로, 실시간 영상 생성 애플리케이션의 실용화에 직접 영향을 준다.
핵심 요약
저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. 고해상도 지속 학습, 강화학습(RL) 후학습, 한 단계 증류의 세 단계 학습 레시피를 적용했다. 논문은 다양한 비디오 생성 모델의 출력을 바탕으로 한 Refiner-Bench 벤치마크를 구축하고, 약 2K 해상도에서 다양한 정제 모델을 비교하는 공통 입력 프로토콜을 도입했다. 전체 요약 5문장 읽기 → 021 12:11 ▲ 102 · 댓글 1 미래 예측 없이도 일반화 가능한 로봇 모델 개발 World Action Models(WAMs)는 학습 중 미래 프레임을 예측하면서 행동을 학습하는 모델이다. AI · 머신러닝 · What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling
Key Point 로봇 모델의 일반화 능력을 해치지 않으면서 계산 효율성을 확보하는 새로운 접근으로, 로봇 비전 모델의 실용성을 크게 높일 수 있다.
핵심 요약
World Action Models(WAMs)는 학습 중 미래 프레임을 예측하면서 행동을 학습하는 모델이다. Explicit WAMs는 매 행동 청크마다 비디오를 디노이징해 깨끗한 프레임을 생성하고, 효율성을 위해 미래 생성을 건너뛰는 Latent WAMs도 있다. 연구팀은 Latent WAMs가 학습 데이터와 같은 환경에서는 Explicit WAMs와 비슷하지만, 환경 변화, 데이터 부족, 작업 변경 상황에서 일반화 능력을 잃는다는 것을 발견했다. 전체 요약 6문장 읽기 →