쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
21건 · "영상생성"조건 지우기 ×
001 12:11 ▲ 33 · 댓글 2 코드 기반 영상생성 벤치마크 '코드2비디오-컴패스' 공개 코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. AI · 머신러닝 · Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
Key Point 코드 기반 영상생성이 사용성과 제어성 측면에서 주목받는 가운데, 다양한 입력과 창작 시나리오를 아우르는 첫 종합 벤치마크가 나왔으며 현재 MLLM들의 한계를 명확히 보여준다.
핵심 요약
코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. 기존 코드 기반 벤치마크는 특정 작업에만 집중해 다양한 창작물과 입력 방식의 완전한 영상 생성 평가가 부족했다. Code2Video-Compass는 텍스트-영상(T2V), 이미지-영상(I2V), 영상-영상(V2V) 세 형식을 아우르는 범용 벤치마크로 10개 카테고리, 24개 세부 유형의 2,104개 과제를 포함한다. 전체 요약 7문장 읽기 → 002 12:11 ▲ 18 · 댓글 2 동영상 얼굴 바꾸기를 실시간으로, StreamingSwap 프레임워크 비디오 페이스 스와핑은 참조 이미지의 얼굴을 타겟 영상에 전이하면서 다른 속성과 움직임은 보존하는 작업이다. AI · 머신러닝 · From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping
Key Point 얼굴 교체 기술을 실시간 장시간 스트림까지 확장한 기술적 혁신으로, 고화질 정체성 전이를 저사양 하드웨어에서 구현했다.
핵심 요약
비디오 페이스 스와핑은 참조 이미지의 얼굴을 타겟 영상에 전이하면서 다른 속성과 움직임은 보존하는 작업이다. 기존 플로우 매칭 방식은 얼굴만 바뀌는 변화에 약하고, 장시간 스트림에서 정체성 전이·고화질·실시간 생성을 동시에 달성하기 어렵다. Joint Rec-ID Loss를 개발해 노이즈 레벨에 따라 명시적 정체성 감독과 잠재 재구성을 균형있게 한다. 전체 요약 8문장 읽기 → 003 16:56 ▲ 26 · 댓글 2 만화를 영상으로 충실히 변환하는 AI 에이전트 시스템 만화를 원본 내용에 충실한 애니메이션으로 변환하는 멀티에이전트 프레임워크 Manga2Animate를 제안했다. AI · 머신러닝 · Manga2Animate: An Agentic Framework for Faithful Manga Animation with Script and Storyboard Planning
Key Point 만화의 스토리, 캐릭터, 미술 스타일을 모두 보존하면서 자동으로 애니메이션화하는 기술로, 만화 산업에 실질적으로 적용할 수 있는 접근 방식을 제시한다.
핵심 요약
만화를 원본 내용에 충실한 애니메이션으로 변환하는 멀티에이전트 프레임워크 Manga2Animate를 제안했다. 기존 방식은 만화를 텍스트로만 해석해 캐릭터와 미술 스타일을 잃거나, 페이지를 직접 영상생성 모델에 넣어 구성을 오해하고 잘못된 스토리를 만드는 문제가 있었다. 이 프레임워크는 생성 과정의 모든 단계를 원본 만화에 근거하며, 작업을 두 가지 중간 단계인 애니메이션 스크립트와 시각적 스토리보드로 분해한다. 전체 요약 6문장 읽기 → 004 18:11 ▲ 73 · 댓글 4 영상 생성 지연 시간 없이 고품질 모델 쓰는 법 인터랙티브 영상 생성은 응답 지연을 줄이기 위해 작은 양방향 청크를 사용해왔으나, 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 소폭만 증가함을 발견했다. AI · 머신러닝 · Speculative Sampling in Interactive Video Generation
Key Point 실시간 영상 생성의 지연 시간과 품질 사이의 근본적 트레이드오프를 해소하는 기법으로, 스트리밍 기반 영상 생성 시스템의 아키텍처를 재설계한다.
핵심 요약
인터랙티브 영상 생성은 응답 지연을 줄이기 위해 작은 양방향 청크를 사용해왔으나, 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 소폭만 증가함을 발견했다. Speculative Sampling 기법을 제안하는데, 이는 큰 양방향 윈도우의 모델링 능력과 작은 윈도우의 저지연 상호작용을 결합한다. 노이즈 래턴트를 패딩으로 추가해 모델링 윈도우를 확장하고, 조건이 바뀌지 않으면 예측 결과를 캐시해 재사용한다. 전체 요약 7문장 읽기 → 005 03:12 ▲ 13 · 댓글 1 영상 세계 모델, 프레임률을 자유롭게 조절하다 기존 영상 기반 인터랙티브 세계 모델은 고정된 시간 속도로만 학습·생성되어, 실행 속도가 다르면 의도와 달리 느리거나 빠르게 진행되는 문제가 있었다. AI · 머신러닝 · RAR: Rate-Adaptive Rollout for Time-Consistent Interactive World Models
Key Point 세계 모델의 기본 제약인 프레임률 고정 문제를 해결하면 더 유연한 실시간 시뮬레이션과 로봇·게임 AI 개발이 가능해진다.
핵심 요약
기존 영상 기반 인터랙티브 세계 모델은 고정된 시간 속도로만 학습·생성되어, 실행 속도가 다르면 의도와 달리 느리거나 빠르게 진행되는 문제가 있었다. 또한 단일 프레임률로는 정교한 모션 캡처와 긴 시간 지평 사이의 트레이드오프를 피할 수 없었다: 높은 프레임률은 미세한 움직임을 포착하지만 컨텍스트 윈도우 내에서 짧은 기간만 커버한다. 논문이 제시하는 RAR(Rate-Adaptive Rollout)은 세계 모델이 제어 가능한 시간 속도로 생성할 수 있게 한다. 전체 요약 7문장 읽기 → 006 21:11 당일 +103 필터 없는 AI 이미지·영상 생성 스튜디오 오픈소스화 Midjourney·Runway 같은 상용 AI 영상 플랫폼의 대안으로, 600개 이상 모델을 지원하는 오픈소스 생성형 AI 스튜디오를 공개했다. AI · 머신러닝 · Anil-matcha/Open-Generative-AI · JavaScript
Key Point 기존 상용 AI 영상 플랫폼의 높은 구독료와 필터 제한에서 벗어나, 600개 모델로 무제한 창작이 가능한 자체 호스팅 솔루션이 등장했다는 점이 중요합니다.
핵심 요약
Midjourney·Runway 같은 상용 AI 영상 플랫폼의 대안으로, 600개 이상 모델을 지원하는 오픈소스 생성형 AI 스튜디오를 공개했다. Flux·Kling·Sora·Veo 등 주요 이미지/영상 생성 모델 200여 개를 통합하고 콘텐츠 필터나 제한 없이 사용할 수 있다. 이미지·영상·음성·입술싱크·시네마·워크플로우 등 14개 스튜디오를 포함하며, 자체 호스팅 가능하고 MIT 라이선스로 완전 무료이다. 전체 요약 10문장 읽기 → 007 21:11 ▲ 82 · 댓글 2 사용자 개입 받으며 생성되는 동영상, 문맥 기반으로 제어한다 영상 생성 시 시청자가 실시간으로 개입할 때, 시청자의 요청이 원본 자료와 현재까지 생성된 영상 상태에 모두 의존하는 문제가 발생한다. AI · 머신러닝 · VIS-Ground: Video Interactive Storytelling with Contextual Grounding
Key Point 시청자가 실시간으로 영상 생성에 개입할 때 원본 자료, 이전 생성물, 새로운 요청 간의 숨겨진 관계를 모두 파악해야 정확한 결과를 낼 수 있다는 근본적인 문제를 해결하는 방법을 제시한다.
핵심 요약
영상 생성 시 시청자가 실시간으로 개입할 때, 시청자의 요청이 원본 자료와 현재까지 생성된 영상 상태에 모두 의존하는 문제가 발생한다. 기존 대화형 영상 생성 시스템은 사용자 지시만 따르거나, 외부 자료 정렬에만 집중해 문맥 기반 제약을 제대로 다루지 못했다. VIS-Ground는 이질적이고 비정형인 입력 정보를 구조화된 제약 모델로 변환한다. 전체 요약 7문장 읽기 → 008 12:11 ▲ 55 · 댓글 3 AR·VR용 입체 음성 생성, 화면 움직임과 동기화 기존 영상-음성 생성 모델은 의미 대응과 시간 동기화는 잘했지만, AR/VR·인터랙티브 게임에 필요한 입체 음성 생성은 미흡했다. AI · 머신러닝 · Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation
Key Point AR·VR과 게임 등 몰입형 미디어에서 필수인 입체 음성을 화면 움직임과 동기화하는 기술 공백을 처음 정의하고 해결했으며, 평가 기준도 함께 제시했다.
핵심 요약
기존 영상-음성 생성 모델은 의미 대응과 시간 동기화는 잘했지만, AR/VR·인터랙티브 게임에 필요한 입체 음성 생성은 미흡했다. 입체 음성은 음원이 인지되는 방향이 화면 속 음원의 움직임과 일치해야 하는데, 이를 '동적 공간 대응'이라고 정의했다. StereoBind는 모션 트랙을 활용해 시각적 움직임과 입체 음성을 연계하는 프레임워크로, 시각 움직임 바인딩·공간 트랙 인코더·상대 움직임 모델링 세 가지 메커니즘을 사용한다. 전체 요약 5문장 읽기 → 009 15:13 ▲ 24 · 댓글 3 깊이 추정 없이 카메라 관점 변환 비디오 생성 외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. AI · 머신러닝 · LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation
Key Point 깊이 추정 단계를 제거하면서도 비디오 생성 품질을 높이는 새로운 접근법으로, 구조 정렬과 세부 복원의 역할 분담 방식이 확산 모델의 특성과 어떻게 부합하는지 보여준다.
핵심 요약
외중심 카메라(제3자 관점) 영상 하나로부터 자아중심 카메라(1인칭 관점) 비디오를 생성하는 것은 두 카메라의 겹치는 영역이 거의 없어 어려운 문제다. 기존 최첨단 방식은 깊이를 추정해 포인트 클라우드로 변환한 후 자아중심 카메라 관점에서 재렌더링하고, 이를 비디오 확산 모델의 조건으로 사용한다. 그러나 이 결정론적 매핑은 각 픽셀을 한 위치에만 할당하므로 깊이 오류가 콘텐츠 배치 오류로 전파되고, 텍스처는 보존되지만 정확도가 떨어진다. 전체 요약 9문장 읽기 → 010 18:30 ▲ 51 · 댓글 2 자동회귀 비디오 생성의 그래디언트 충돌 해결: SGF+ 자동회귀 방식의 비디오 생성은 현재 프레임을 노이즈 제거하면서 동시에 미래 예측용 컨텍스트로 쓸 키-값 표현을 작성해야 하는데, 이 두 역할이 같은 파라미터를 공유하면서 서로 다른 그래디언트 패턴을 보이고 체계적인 음의 정렬을 일으킨다. AI · 머신러닝 · SGF+: Decoupling Gradient Flows for Autoregressive Video Generation
Key Point 자동회귀 비디오 생성의 핵심 병목인 그래디언트 충돌을 단순한 파라미터 분리로 해결해 긴 비디오도 별도 학습 없이 생성할 수 있게 하는 방법론이 제시됐습니다.
핵심 요약
자동회귀 방식의 비디오 생성은 현재 프레임을 노이즈 제거하면서 동시에 미래 예측용 컨텍스트로 쓸 키-값 표현을 작성해야 하는데, 이 두 역할이 같은 파라미터를 공유하면서 서로 다른 그래디언트 패턴을 보이고 체계적인 음의 정렬을 일으킨다. 이러한 그래디언트 충돌이 시각적 품질과 시간적 일관성의 공동 최적화를 방해하고 있다. 연구팀은 Self Gradient Forcing Plus(SGF+)를 제안하여 컨텍스트 작성과 노이즈 제거에 별도의 파라미터를 할당하되, 인과적 어텐션을 통해 두 역할 간 상호작용을 유지한다. 전체 요약 7문장 읽기 → 011 21:11 ▲ 47 · 댓글 1 장시간 영상 생성 모델에 공간 기억 지능 더하다 장시간 영상 생성과 월드 모델은 사용자 행동과 과거 기억을 바탕으로 미래 관측치를 예측해 상호작용 가능한 엔터테인먼트와 embodied simulation을 실현했으나, 메모리 길이가 길어지고 구조가 복잡해질수록 장거리 공간 맥락 관리가 어려워진다. AI · 머신러닝 · Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
Key Point MLLM의 공간 이해 능력을 처음으로 체계적으로 메모리 관리에 적용해 장시간 영상 생성의 근본적인 한계를 푸는 새로운 접근이다.
핵심 요약
장시간 영상 생성과 월드 모델은 사용자 행동과 과거 기억을 바탕으로 미래 관측치를 예측해 상호작용 가능한 엔터테인먼트와 embodied simulation을 실현했으나, 메모리 길이가 길어지고 구조가 복잡해질수록 장거리 공간 맥락 관리가 어려워진다. Spatial Memory Intelligence(SMI)는 다중모드 대규모 언어 모델(MLLM)의 공간 추론 능력을 활용해 장시간 영상 월드 모델의 메모리 관리를 체계화한 첫 프레임워크다. SMI는 공간 클러스터링, 클러스터 내 스파시피케이션, 행동 기반 검색, 신뢰도 기반 필터링 4개의 조정된 원자 연산을 도입한다. 전체 요약 4문장 읽기 → 012 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 013 00:11 ▲ 14 · 댓글 1 이미지·영상 이해와 생성을 한 번에, 픽셀 기반 통합 모델 등장 기존 통합 멀티모달 모델들은 이해와 생성을 위해 서로 다른 시각 표현을 사용해 시각 컨텍스트 길이를 늘리고 복잡도를 높여왔다. AI · 머신러닝 · PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation
Key Point 인코더를 제거하고 픽셀 공간에서 직접 작동하는 통합 접근법은 시각-언어 파이프라인의 복잡도를 낮추면서도 이미지·영상 작업을 한 모델으로 처리하는 새로운 패러다임을 보여준다.
핵심 요약
기존 통합 멀티모달 모델들은 이해와 생성을 위해 서로 다른 시각 표현을 사용해 시각 컨텍스트 길이를 늘리고 복잡도를 높여왔다. PixelUMM은 인코더 없이 픽셀 공간에서 이미지와 영상의 이해·생성을 통합하는 모델이다. 이미지를 공간 패치로, 영상을 시공간 튜블릿으로 표현해 원본 픽셀을 공유 백본에 단층 선형 투영으로 연결한다. 전체 요약 6문장 읽기 → 014 06:11 ▲ 10 · 댓글 3 동영상의 마지막 장면을 지정해서 만드는 영상생성 AI 이미지에서 동영상을 생성할 때 카메라 움직임뿐 아니라 미래 장면의 배치(Layout)를 제어할 수 있는 LIFT 프레임워크를 제시했다. AI · 머신러닝 · LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
Key Point 텍스트와 카메라 제어만으로는 불가능했던 '마지막 장면 모습 지정'이라는 실용적 수요를 해결한 새로운 방식으로, 동영상 생성의 사용자 제어 범위를 크게 확장한다.
핵심 요약
이미지에서 동영상을 생성할 때 카메라 움직임뿐 아니라 미래 장면의 배치(Layout)를 제어할 수 있는 LIFT 프레임워크를 제시했다. 기존 카메라 제어는 시점 궤적만 지정하고 텍스트 프롬프트는 개략적인 의미만 제공해서, 미래 프레임의 구체적인 내용과 공간 배치를 결정할 수 없다는 한계가 있다. 특히 카메라가 초기 이미지에서 보이지 않는 영역을 드러내는 대규모 시점 변화 상황에서는 이 문제가 심각해진다. 전체 요약 7문장 읽기 → 015 00:11 ▲ 17 · 댓글 1 장편 영상 스토리 일관성 유지하는 AI 프레임워크 공개 AI 에이전트가 여러 장면으로 긴 영상을 생성할 때 스토리의 일관성을 유지하는 것이 어렵다는 문제가 있다. AI · 머신러닝 · StoryEngine: A State-Grounded Agentic Framework for Video Storytelling
Key Point 영상 생성 AI가 장편 콘텐츠에서 등장인물·배경의 일관성을 유지하지 못하는 근본적인 한계를 '상태 추적'으로 해결하는 첫 체계적 접근이라는 점에서 의미가 있습니다.
핵심 요약
AI 에이전트가 여러 장면으로 긴 영상을 생성할 때 스토리의 일관성을 유지하는 것이 어렵다는 문제가 있다. 기존 방식은 텍스트 기반 계획이나 이전 프레임에만 의존해 스토리 이벤트의 결과를 명시적으로 추적하지 않아 시각적 오류가 누적된다. 연구팀이 제안한 StoryEngine은 구조화된 상태 표현으로 등장인물·소품·스토리 상태를 추적하고, 각 장면의 시작·종료 상태를 정의한다. 전체 요약 7문장 읽기 → 016 18:11 ▲ 29 · 댓글 2 한 번의 단계로 4K 영상 생성하는 비디오 정제 기법 발표 저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. AI · 머신러닝 · SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video
Key Point 고해상도 비디오 생성의 계산 비용을 획기적으로 줄이면서도 품질을 유지하는 방법론으로, 실시간 영상 생성 애플리케이션의 실용화에 직접 영향을 준다.
핵심 요약
저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. 고해상도 지속 학습, 강화학습(RL) 후학습, 한 단계 증류의 세 단계 학습 레시피를 적용했다. 논문은 다양한 비디오 생성 모델의 출력을 바탕으로 한 Refiner-Bench 벤치마크를 구축하고, 약 2K 해상도에서 다양한 정제 모델을 비교하는 공통 입력 프로토콜을 도입했다. 전체 요약 5문장 읽기 → 017 18:11 ▲ 15 · 댓글 2 로봇 매니퓨레이션을 위한 영상 시뮬레이터 WorldLine 공개 로봇 학습의 물리적 실행 비용을 줄이기 위해 영상 생성 모델 기반 시각 시뮬레이터가 필요한데, 기존 모델은 행동 추종 정확도와 로봇-객체 동역학 일관성이 부족하고 구체적 제어 데이터에 의존한다. AI · 머신러닝 · WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
Key Point 로봇 매니퓰레이션 학습에서 물리적 실행 없이 행동 결과를 예측할 수 있는 범용 시뮬레이터는 개발 비용과 안전 위험을 크게 줄일 수 있기 때문입니다.
핵심 요약
로봇 학습의 물리적 실행 비용을 줄이기 위해 영상 생성 모델 기반 시각 시뮬레이터가 필요한데, 기존 모델은 행동 추종 정확도와 로봇-객체 동역학 일관성이 부족하고 구체적 제어 데이터에 의존한다. WorldLine은 행동 기반 시각 시뮬레이터로, 전이 가능한 동역학 학습을 이질적인 행동 그라운딩으로부터 분리한다. 10,000시간 이상의 행동 없는 로봇 영상과 10개 이상 로봇 체형에서 2,000시간 이상의 행동 궤적으로 학습한다. 전체 요약 8문장 읽기 → 018 22:26 ▲ 110 · 댓글 80 Claude 3.5로 한 번의 실행으로 완성하는 동영상 생성 도구 Claude 3.5 Opus를 활용해 URL이나 프롬프트 입력만으로 편집 없이 MP4 동영상을 자동 생성하는 웹 도구 'Launch Video'를 선보였다. AI · 머신러닝 · Opus 5.5 is good at explainer videos
Key Point Claude 3.5 Opus의 실제 활용 사례를 통해 대규모 언어 모델이 단순 텍스트를 넘어 시각 콘텐츠 생성까지 어떻게 확장되는지, 그리고 실제 프로덕션 환경에서 작동하는 시스템 설계 방식을 볼 수 있습니다.
핵심 요약
Claude 3.5 Opus를 활용해 URL이나 프롬프트 입력만으로 편집 없이 MP4 동영상을 자동 생성하는 웹 도구 'Launch Video'를 선보였다. 웹 페이지 텍스트·제목·헤딩·색상·폰트 정보를 추출하고, 생성된 HTML을 확인해 오류와 화면 텍스트를 검증한 뒤 동영상으로 렌더링하는 세 개의 도구로 구성된다. OpenComputer의 서버리스 에이전트 위에서 작동하며, TypeScript로 정의된 단일 에이전트 파일과 세 개의 도구만으로 이루어져 있고 별도의 프레임워크나 큐, 자체 서버가 필요 없다. 전체 요약 11문장 읽기 → 019 22:29 ▲ 39 · 댓글 2 자동회귀 영상 생성의 메모리 문제, 체계적 연구 프레임 제시 자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. AI · 머신러닝 · The Past Frames the Future: Memory for Autoregressive Video Generation
Key Point 자동회귀 영상 생성이 점점 길어지면서 메모리 부족으로 인한 시간적 일관성 붕괴 문제가 실질적 제약인데, 이를 체계화한 첫 종합 리뷰라 기술 개발 방향에 영향을 미칠 것으로 예상된다.
핵심 요약
자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. 이 논문은 자동회귀 영상 생성에서 메모리 메커니즘을 체계적으로 검토하는 첫 종합 연구다. 메모리를 '과거 단계의 정보가 현재 컨텍스트에서 접근 불가능해진 후에도 미래 생성에 영향을 미칠 수 있는 지속적 역사 정보'로 정의한다. 전체 요약 6문장 읽기 → 020 22:29 ▲ 24 · 댓글 2 영상 생성 AI의 보상 신호 불안정성, 기준 기반 평가로 해결 영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. AI · 머신러닝 · RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
Key Point 영상 생성 AI를 강화학습으로 최적화할 때 보상 신호의 불안정성은 학습 효율을 크게 떨어뜨리는데, 명시적 평가 기준을 도입하는 이 접근법이 문제 해결에 새로운 방향을 제시한다.
핵심 요약
영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. RewardVerse는 평가 기준을 동적으로 생성한 후 그에 맞춰 점수를 매기는 방식으로, 명시적 평가 기준을 중간 표현으로 삽입해 점수의 안정성을 높인다. 이를 효율적으로 최적화하기 위해 제안된 Rubric-Guided Policy Optimization(RGPO)는 자기진화 초기 기준으로 평가 모델을 먼저 준비한 후, 기준 생성기와 평가기를 함께 최적화하면서 인간 평가와 정렬하는 2단계 학습 알고리즘이다. 전체 요약 4문장 읽기 → 021 11:10 당일 +181 Open-Sora 2.0, 11B 모델로 고급 영상 생성 완전 공개 Open-Sora는 효율적인 고품질 영상 생성을 모두에게 개방하는 프로젝트이며, 3월 12일 2.0 버전(11B)을 공개했다. AI · 머신러닝 · hpcaitech/Open-Sora · Python
Key Point 고비용 영상 생성 모델 개발을 오픈소스로 완전 공개하고 학습 비용을 대폭 절감한 방법을 공개했으므로, 누구나 이 기술에 접근할 수 있게 되었다.
핵심 요약
Open-Sora는 효율적인 고품질 영상 생성을 모두에게 개방하는 프로젝트이며, 3월 12일 2.0 버전(11B)을 공개했다. 2.0의 11B 모델은 HunyuanVideo의 11B 모델, Step-Video의 30B 모델과 동등한 수준의 성능을 VBench와 사용자 선호도 평가에서 보여준다. 학습 코드와 체크포인트까지 완전 공개하며, 2억 달러 이상의 높은 학습 비용을 200만 달러 수준으로 절감했다. 전체 요약 5문장 읽기 → 
