쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
75건 · "영상 생성"조건 지우기 ×
001 21:11 당일 +111 로컬 AI 스튜디오 'Locally Uncensored' 3.0.8 공개 설치부터 실행까지 클릭 몇 번으로 진행되는 올인원 로컬 AI 앱으로, 윈도우·리눅스·안드로이드·맥(베타)을 지원하며 Docker나 터미널 없이도 작동한다. AI · 머신러닝 · PurpleDoubleD/locally-uncensored · TypeScript
Key Point Docker나 터미널 없이 데스크톱에서 채팅·이미지·영상·코딩을 한 앱으로 완전히 로컬에서 실행할 수 있는 통합 환경이 제공되므로, 클라우드 의존성을 피하려는 개발자와 사용자에게 변화를 가져온다.
핵심 요약
설치부터 실행까지 클릭 몇 번으로 진행되는 올인원 로컬 AI 앱으로, 윈도우·리눅스·안드로이드·맥(베타)을 지원하며 Docker나 터미널 없이도 작동한다. 채팅 모드에서 검열을 받지 않은 모델(Abliterated)을 제공하고, ComfyUI 통합으로 이미지·영상 생성, 코딩 에이전트, 음성 대화, 컴퓨터 제어 기능을 한 창에서 사용할 수 있다. 3.0.8에서 웹 검색을 5개 서비스에서 무료로 수행하고, 영상은 백그라운드 렌더링 중에도 채팅 계속 가능하며, 듀얼 그래픽카드 할당으로 채팅과 ComfyUI를 각각 GPU에 할당할 수 있다. 전체 요약 13문장 읽기 → 002 15:11 ▲ 49 · 댓글 2 3D 기하정보로 다각도 영상 생성, OmniShowcase 공개 참조 이미지 몇 장에서 특정 피사체의 영상을 생성할 때, 카메라가 입력 이미지에 없는 각도로 이동하면 보이지 않는 표면을 추론해야 하는 문제를 다룬다. AI · 머신러닝 · OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images
Key Point 참조 이미지에서 3D 기하정보를 명시적으로 활용해 다각도 영상 생성 시 피사체 일관성을 크게 개선하는 방식으로, 멀티뷰 조건부 영상 생성의 핵심 과제를 해결한다.
핵심 요약
참조 이미지 몇 장에서 특정 피사체의 영상을 생성할 때, 카메라가 입력 이미지에 없는 각도로 이동하면 보이지 않는 표면을 추론해야 하는 문제를 다룬다. 기존 단일 이미지 기반 방식을 개선하기 위해 최근 방법들은 다중 시점 참조 이미지를 사용하지만, 이들을 연결하는 3D 구조를 명시적으로 정의하지 않으며 학습 데이터가 시점 변화에서 동일한 3D 피사체를 보장하지 못한다. OmniShowcase는 자동화된 데이터 합성 파이프라인과 기하 조건화 방식 두 가지로 구성된다. 전체 요약 8문장 읽기 → 003 18:11 ▲ 89 · 댓글 2 코드 기반 영상 생성 평가하는 벤치마크 등장 멀티모달 에이전트가 코드를 작성해 매 프레임을 렌더링하고 사운드를 합성하는 영상 생성 방식이 부상하고 있다. AI · 머신러닝 · VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
Key Point 코드 기반 영상 생성이 확산형 비디오 모델의 대안으로 떠오르는 가운데, 에이전트 성능을 객관적으로 비교 평가할 수 있는 첫 대규모 벤치마크가 제시되었기 때문이다.
핵심 요약
멀티모달 에이전트가 코드를 작성해 매 프레임을 렌더링하고 사운드를 합성하는 영상 생성 방식이 부상하고 있다. VibeVideoBench는 이 접근법을 평가하는 벤치마크로, 영어와 중국어로 된 239개 자체 완결 과제를 제시한다. 데이터 스토리, 음악 기반 콘텐츠, 수업 영상, 논문 설명 등 12개 카테고리를 아우르며, 에이전트는 1시간 내에 사운드가 포함된 MP4 완성본을 제출해야 한다. 전체 요약 9문장 읽기 → 004 03:11 ▲ 298 · 댓글 164 구글 DeepMind, 음성·대사까지 생성하는 세계 시뮬레이션 모델 'Genie 4' 공개 DeepMind가 세계 시뮬레이션 모델 'Genie 4'를 발표했으며, 음악·주변음·대화까지 실시간으로 함께 생성하는 네이티브 멀티모달 모델이다. AI · 머신러닝 · Genie 4
Key Point 텍스트·이미지·비디오에 이어 이제 오디오까지 생성하는 세계 시뮬레이션이 실시간 상호작용 수준에 도달했으며, AI 영상 생성 기술의 새로운 기준을 제시한다.
핵심 요약
DeepMind가 세계 시뮬레이션 모델 'Genie 4'를 발표했으며, 음악·주변음·대화까지 실시간으로 함께 생성하는 네이티브 멀티모달 모델이다. Gemini Omni를 활용해 사실적인 외관과 동작을 앵커링하고, 다른 Gemini 모델들이 복잡한 추론으로 시뮬레이션 일관성을 유지한다. 사용자가 자연어로 실시간 날씨 변경·카메라 이동·객체 추가 같은 지시를 내리면 Gemini가 맥락에 맞게 적응시키며, 사용자 입력 사이에도 장면이 일관성 있게 진행된다. 전체 요약 12문장 읽기 → 005 12:11 ▲ 49 · 댓글 2 큰 각도 카메라 움직임 속에서 캐릭터 영상 생성하기 기존 캐릭터 비디오 생성 방식은 회전·평동·거리 변화가 함께 일어나는 대각도 카메라 궤적을 따라가기 어려우며, 초기 프레임에 보이지 않던 캐릭터 영역이 드러나면서 기하학적 왜곡과 외형 저하, 아이덴티티 손실 문제를 겪는다. AI · 머신러닝 · WorldCast: World-Consistent Character Video Generation with Large-Angle Camera Control
Key Point 3D 기하학 정보와 다중 관점 특성 정렬 기법으로 카메라가 크게 움직일 때도 캐릭터의 일관성을 유지하면서 자연스러운 영상을 만드는 새로운 접근법을 제시한다.
핵심 요약
기존 캐릭터 비디오 생성 방식은 회전·평동·거리 변화가 함께 일어나는 대각도 카메라 궤적을 따라가기 어려우며, 초기 프레임에 보이지 않던 캐릭터 영역이 드러나면서 기하학적 왜곡과 외형 저하, 아이덴티티 손실 문제를 겪는다. 이를 체계적으로 연구하기 위해 CLACT라는 대규모 캐릭터 중심 데이터셋과 벤치마크를 개발했으며, 정확한 카메라 기하학과 다중 관점 캐릭터 관측치를 포함했다. WorldCast 프레임워크는 초기 프레임을 추정된 깊이로 3D 포인트 클라우드로 역투영한 뒤, 포인트 클라우드 스케일을 목표 카메라 궤적에 정렬하고 궤적을 따라 렌더링해 명시적 기하학적 가이드와 커버리지 마스크를 얻는다. 전체 요약 5문장 읽기 → 006 21:12 당일 +226 AI 에이전트를 위한 이미지·영상 생성 스킬 모음 공개 Higgsfield AI가 Claude Code, Cursor 등 AI 코딩 에이전트에서 사용할 수 있는 Markdown 기반 스킬 모음을 공개했다. AI · 머신러닝 · higgsfield-ai/skills · Python
Key Point AI 코딩 에이전트 위에서 직접 작동하는 이미지·영상·웹사이트 생성 스킬이 한데 모였으므로, 개발자가 프롬프트만으로 마케팅 자산부터 풀스택 사이트까지 만들 수 있게 되었다.
핵심 요약
Higgsfield AI가 Claude Code, Cursor 등 AI 코딩 에이전트에서 사용할 수 있는 Markdown 기반 스킬 모음을 공개했다. 주요 기능은 `higgsfield-generate`로 이미지, 영상, 3D, 오디오를 30개 이상의 모델(Flux 2, Veo 3.1, Kling 3.0, Seedance 2.5 등)로 생성할 수 있으며, 마케팅 스튜디오는 브랜드된 광고 영상을 아바타와 상품으로 만들고 Virality Predictor로 점수를 매긴다. `higgsfield-soul-id`는 5~20장 사진으로 얼굴을 학습해 재사용 가능한 아이덴티티 모델을 만들고, `higgsfield-product-photoshoot`은 10가지 모드(스튜디오, 라이프스타일, Pinterest, 광고팩 등)로 상품 사진을 생성한다. 전체 요약 7문장 읽기 → 007 21:12 ▲ 28 · 댓글 2 비디오 언어 모델로 e스포츠 실시간 연출과 해설 자동화 e스포츠 실시간 방송은 초 단위로 어느 카메라를 송출할지 결정하고 해설하는 연출자와 해설자가 필요하며, 미래를 알 수 없는 상황에서 진행된다. AI · 머신러닝 · DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model
Key Point 실시간 영상 생성 능력을 갖춘 대규모 언어 모델이 단순 해석을 넘어 실시간 의사결정(카메라 선택)이 필요한 프로덕션 수준의 작업을 수행할 수 있다는 점을 실증한 첫 사례입니다.
핵심 요약
e스포츠 실시간 방송은 초 단위로 어느 카메라를 송출할지 결정하고 해설하는 연출자와 해설자가 필요하며, 미래를 알 수 없는 상황에서 진행된다. 기존 스트리밍 비디오 언어 모델은 인간 연출자가 이미 제작한 방송을 보고 해설만 했으나, 이 논문은 모든 선수 카메라의 원본 영상을 받아 직접 연출과 해설을 동시에 수행하는 라이브 방송 제작을 다룬다. DirCast는 매초 모든 카메라를 저해상도로 스캔하고, 홀드-또는-스위치 연출자로 컷 여부와 위치를 결정한 뒤, 선택된 카메라를 고해상도로 읽고 해설을 생성한다. 전체 요약 7문장 읽기 → 008 21:11 당일 +153 AI 이미지 창작용 오픈소스 무한 캔버스 플랫폼 공개 TypeScript로 개발된 오픈소스 무한 캔버스 워크벤치로, AI 생이미지·이미지 편집·동영상 생성·에이전트 어시스턴트·캔버스 편성·대화형 창작·프롬프트 라이브러리·소재 관리를 하나의 인터페이스에서 제공한다. AI · 머신러닝 · basketikun/infinite-canvas · TypeScript
Key Point OpenAI 호환 API와 로컬 에이전트를 통합해 브라우저 기반 AI 창작 워크플로우를 단일 캔버스에서 구현한 오픈소스 도구로, AI 생이미지·영상 생성·이미지 편집 등 여러 작업을 한 곳에서 연결할 수 있다.
핵심 요약
TypeScript로 개발된 오픈소스 무한 캔버스 워크벤치로, AI 생이미지·이미지 편집·동영상 생성·에이전트 어시스턴트·캔버스 편성·대화형 창작·프롬프트 라이브러리·소재 관리를 하나의 인터페이스에서 제공한다. 다중 캔버스 프로젝트, 노드 드래그 스케일링, 연선, 미니맵, 실행 취소/다시 하기, 가져오기/내보내기 등 무한 캔버스 기능을 갖추고 있다. 브라우저 프론트엔드에서 OpenAI 호환 인터페이스로 직접 연결되며 텍스트-이미지, 이미지-이미지, 참고 이미지 편집, 텍스트 문답, 음성 및 동영상 생성을 지원한다. 전체 요약 12문장 읽기 → 009 18:11 ▲ 18 · 댓글 2 AI 생성 영상 진위 판별, 인공물 검증으로 설명 가능하게 영상 생성 기술이 고도화되면서 합성 영상을 신뢰할 수 있게 탐지할 필요성이 커지고 있다. AI · 머신러닝 · Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos
Key Point 합성 영상이 실제와 구분 어려워지는 시점에 AI가 생성 결함을 어떻게 찾아내는지 설명 가능하게 만드는 것이 핵심으로, 콘텐츠 진위 검증의 신뢰성 기준을 세우기 때문이다.
핵심 요약
영상 생성 기술이 고도화되면서 합성 영상을 신뢰할 수 있게 탐지할 필요성이 커지고 있다. 기존 인공물 기반 탐지기는 생성 증거를 찾지만 미묘한 결함을 놓치거나 올바른 판단을 내리면서도 근거를 제시하지 못하는 한계가 있다. 이 연구는 인공물 탐지를 세 가지 단계로 구조화했다: 검사 대상을 정하는 '검사 계획', 실제 생성 결함이 있는지 확인하는 '증거 검증', 최종 판단으로 통합하는 '증거 통합'이다. 전체 요약 7문장 읽기 → 010 15:11 ▲ 173 · 댓글 2 영화 같은 영상 생성, MLLM 정보를 제대로 활용하는 학습법 제안 영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. AI · 머신러닝 · Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
Key Point 비디오 확산 모델이 MLLM의 정보를 무시하는 근본 문제를 해결함으로써 멀티모달 정보 기반의 영상 생성 품질을 크게 향상시키는 방법론을 제시합니다.
핵심 요약
영화 같은 영상 생성은 제한된 입력(희소 가이드)으로 시간 추론을 하고, 캐릭터·장면·액션·카메라를 세밀하게 제어해야 하는 문제다. 멀티모달 대형언어모델(MLLM)이 유용한 선행 정보를 제공하지만, 비디오 확산 트랜스포머(DiT)가 직접 조건화 경로로 이를 우회하거나 충분히 활용하지 못한다. 연구팀은 요소 인식 예측 학습(FAPL)을 제안해 MLLM 잠재값을 유효하게 활용하는 것을 전제로 설정했다. 전체 요약 8문장 읽기 → 011 12:11 ▲ 33 · 댓글 2 코드 기반 영상생성 벤치마크 '코드2비디오-컴패스' 공개 코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. AI · 머신러닝 · Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
Key Point 코드 기반 영상생성이 사용성과 제어성 측면에서 주목받는 가운데, 다양한 입력과 창작 시나리오를 아우르는 첫 종합 벤치마크가 나왔으며 현재 MLLM들의 한계를 명확히 보여준다.
핵심 요약
코드 기반 영상생성은 텍스트·이미지·영상 입력에서 직접 생성보다 세밀한 제어와 재사용이 가능해 멀티모달 대형언어모델(MLLM)이 시각·시간 요구사항을 실행 가능한 프로그램으로 변환해야 한다. 기존 코드 기반 벤치마크는 특정 작업에만 집중해 다양한 창작물과 입력 방식의 완전한 영상 생성 평가가 부족했다. Code2Video-Compass는 텍스트-영상(T2V), 이미지-영상(I2V), 영상-영상(V2V) 세 형식을 아우르는 범용 벤치마크로 10개 카테고리, 24개 세부 유형의 2,104개 과제를 포함한다. 전체 요약 7문장 읽기 → 012 21:11 ▲ 24 · 댓글 2 최소한의 촬영으로 4K 급 입체 영상 생성하는 RealMe 기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. AI · 머신러닝 · RealMe: Immersive Volumetric Video from Minimal Captures
Key Point 저예산 촬영 환경에서도 고품질 입체 영상을 만들 수 있는 방식이 나왔고, 시간-공간 일관성 문제를 처음으로 체계적으로 해결했기에 활용 가능한 응용 범위가 크게 넓어진다.
핵심 요약
기존 다중 카메라 입체 영상 재구성은 고품질을 내지만 비싼 촬영 장비가 필수라는 문제가 있고, 최근 생성형 AI 방식은 해상도가 낮고 시간-공간 일관성이 떨어진다. 논문은 이를 해결하는 통합 프레임워크 RealMe를 제안하는데, 고해상도 비디오 확산 모델을 중심으로 제한된 촬영 데이터를 2K 해상도의 4D 일관성 있는 영상으로 향상시킨다. RealMe는 촬영 영상에서 보조 데이터를 만들어 잠재 벡터로 인코딩하고, 위치 임베딩을 함께 처리해서 비디오 확산 모델에 입력한다. 전체 요약 6문장 읽기 → 013 18:11 ▲ 441 · 댓글 2 스트리밍 영상 생성 모델 평가 벤치마크 StreamEval 공개 실시간 상호작용이 가능한 스트리밍 영상 생성 모델을 평가하는 통합 벤치마크 StreamEval을 발표했다. AI · 머신러닝 · StreamEval: Evaluating Interactive Streaming Video Generation Models
Key Point 실시간 영상 생성 모델이 사용자의 요청을 얼마나 정확히 반영하는지 체계적으로 평가할 수 있는 첫 통합 벤치마크로, 현재 모델들의 명령어 실행 정확도가 15~37점대로 매우 낮다는 점은 이 분야의 개발 방향을 규정하는 중요한 기준을 제시한다.
핵심 요약
실시간 상호작용이 가능한 스트리밍 영상 생성 모델을 평가하는 통합 벤치마크 StreamEval을 발표했다. 아바타 대화, 아바타 공연, 월드 생성, 명령어 편집, 참조 편집의 5가지 과제를 포함한다. 각각 15초~300초 길이의 300개 테스트 케이스로 구성되며, 초기 에셋·시간순 멀티모달 요청·상태 변화 및 콘텐츠 유지 요구사항이 정의되어 있다. 전체 요약 8문장 읽기 → 014 15:11 ▲ 23 · 댓글 3 영상 생성 AI의 주의 계산 최적화, 훈련 없이 처리 시간 단축 비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. AI · 머신러닝 · Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Key Point 비디오 생성 모델의 추론 속도를 실질적으로 단축할 수 있는 실용적 최적화 방법을 제시하며, 훈련 없이 적용 가능해 즉시 도입할 수 있다.
핵심 요약
비디오 확산 트랜스포머의 3D 어텐션 계산이 비용이 많이 드는 문제를 해결하기 위해 블록-스파스(block-sparse) 어텐션이 사용되지만, 기존 방법들은 스파시티 할당을 최적화하지 못하거나 휴리스틱에만 의존한다. 연구팀은 다른 레이어와 디노이징 단계에서 어텐션 스파시티를 줄일 때 최종 영상 품질에 영향을 주는 정도가 크게 다르다는 것을 발견했다. 중요한 발견은 품질에 가장 민감한 레이어-단계 조합이 입력 데이터에 관계없이 거의 변하지 않는다는 점이다. 전체 요약 8문장 읽기 → 015 15:11 ▲ 158 · 댓글 2 자동회귀 동영상 생성에 미래 청크 예측 더하기 자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. AI · 머신러닝 · Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
Key Point 자동회귀 비디오 생성에서 시간적 진화를 제대로 모델링하는 훈련 기법이 기존 방식보다 적은 계산량으로 물리적 타당성을 높이는 방법을 제시했다.
핵심 요약
자동회귀 비디오 확산 모델은 청크 단위로 영상을 생성하는데, 단순히 시각적 연속성만으로 플러시블한 결과물을 만드는 것이 장면의 시간적 진화를 제대로 모델링하는 것은 아니다. 교사 강제(teacher forcing) 훈련에서 강한 시간적 중복성이 로컬 시각 연속성을 지름길 삼아 실제 시각 진화 모델링 압력을 감소시킨다. 연구팀은 Future Chunk Prediction(FCP)라는 보조 목표함수를 제시했으며, 이는 교사 강제 디노이징과 함께 학습된다. 전체 요약 7문장 읽기 → 016 03:11 ▲ 25 · 댓글 2 영상과 3D 모션을 동시에 만드는 AI 모델 기존 영상 생성 AI는 픽셀 단위 동작만 만들었지만, 3D 자산을 애니메이션할 수 있는 실제 3D 모션은 반환하지 못했다. AI · 머신러닝 · Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
Key Point 영상 생성 AI가 3D 애니메이션 제작 파이프라인으로 확장되는 중요한 시점에, 실제 3D 자산을 직접 움직일 수 있는 모션을 만드는 기술이 등장했다.
핵심 요약
기존 영상 생성 AI는 픽셀 단위 동작만 만들었지만, 3D 자산을 애니메이션할 수 있는 실제 3D 모션은 반환하지 못했다. 이 논문은 텍스트로부터 영상과 3D 모션을 함께 만드는 모델을 제시하며, 임의의 스켈레톤(뼈대)를 지원하고 카메라 위치도 함께 복원한다. 기존 방식은 인간 스켈레톤만 처리하거나 매개변수가 수십억 개인 반면, 이 모델은 3D 모션을 별도로 처리하고 미니 크로스 어텐션 레이어로 사전학습된 영상 모델과 연결해 효율성을 높였다. 전체 요약 8문장 읽기 → 017 00:11 ▲ 27 · 댓글 1 이미지·영상 생성 속도를 6배 높이는 스펙트럼 필터링 기법 확산 트랜스포머(DiT)는 고품질 이미지·영상을 생성하지만 반복되는 트랜스포머 평가로 추론 비용이 크게 든다. AI · 머신러닝 · SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration
Key Point 확산 모델 기반 생성 AI의 추론 속도가 실무적 병목이 되는 상황에서, 화질 손실을 최소화하면서 최대 6배 가속이 가능한 기법이 제시됨으로써 생성 모델의 배포 효율을 크게 개선할 수 있다.
핵심 요약
확산 트랜스포머(DiT)는 고품질 이미지·영상을 생성하지만 반복되는 트랜스포머 평가로 추론 비용이 크게 든다. 기존 캐싱은 특성을 재사용하고, 예측 방식은 건너뛴 단계의 특성을 외삽(extrapolation)하지만, 공간-주파수 성분이 잡음 제거 과정의 다양한 단계에서 서로 다르게 변한다는 점을 간과한다. 또한 잡음 제거는 비균등하게 진행되므로 같은 간격의 스텝도 실제로는 크기 다른 변화에 해당하는데, 이 불일치가 건너뛴 단계가 많아질수록 예측 오류를 증폭시킨다. 전체 요약 7문장 읽기 → 018 18:11 ▲ 18 · 댓글 2 그림 그려지는 과정을 시간 지도로 제어하기 미술 생성 AI는 정적 이미지 합성에서 인간의 회화 과정을 모방하는 동적 비디오 생성으로 발전했으나, 기존 모델들은 창작 과정을 블랙박스로 취급한다. AI · 머신러닝 · Painting Change Map as guidance for generating painting processes
Key Point 기존 회화 영상 생성 모델은 사용자가 어느 부분을 언제 그려야 하는지 제어할 수 없는데, 이 연구는 시공간 변화 지도로 획 수준의 정밀한 제어를 처음 가능하게 한다.
핵심 요약
미술 생성 AI는 정적 이미지 합성에서 인간의 회화 과정을 모방하는 동적 비디오 생성으로 발전했으나, 기존 모델들은 창작 과정을 블랙박스로 취급한다. 현재의 조건 메커니즘은 Canny 엣지나 깊이 맵처럼 너무 경직되었거나 진행률 같은 단순 스칼라 변수로 너무 단순화되어, 그림이 시간에 따라 어떻게 진화하는지 사용자가 조종할 수 없다. 이 연구는 '페인팅 체인지 맵'이라는 새로운 시공간 제어 메커니즘을 제안하는데, 이는 1,000 타임스텝 전체에서 정규화된 구조적 변화를 명시적으로 추적한다. 전체 요약 7문장 읽기 → 019 18:11 ▲ 185 · 댓글 2 비디오 모델로 실시간 게임 세계 만든다 영상 생성을 넘어 지속적인 게임 상태와 규칙을 유지하는 진정한 게임 세계 구현을 목표로 게임 실행 엔진과 시각화 생성을 분리하는 Matrix-Game 4.0을 발표했다. AI · 머신러닝 · Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds
Key Point 비디오 생성 AI가 게임처럼 상호작용하는 실시간 환경으로 확장되는 전환점을 보여주며, 엔진과 렌더러 분리로 확장성과 성능을 동시에 확보한 방식이 앞으로의 AI 게임 개발 방향을 시사한다.
핵심 요약
영상 생성을 넘어 지속적인 게임 상태와 규칙을 유지하는 진정한 게임 세계 구현을 목표로 게임 실행 엔진과 시각화 생성을 분리하는 Matrix-Game 4.0을 발표했다. 경량 게임 엔진이 월드 상태와 인터랙션 규칙을 관리하고, 멀티모달 AI 코딩 에이전트가 플레이어의 자연어 입력을 게임 코드로 번역하며, 자동 회귀 비디오 모델 기반 렌더러가 저폴리 프록시를 상세한 영상으로 변환한다. 렌더러는 저폴리와 고충실도 영상 쌍으로 학습되었으며, 4프레임 단위로 1~2단계 노이징으로 작동하는 인과 생성기로 증류되어 추론을 최적화했다. 전체 요약 7문장 읽기 → 020 15:11 ▲ 48 · 댓글 2 3D 궤적으로 멀티뷰 영상 예측하는 VPM 모델 공개 Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. AI · 머신러닝 · Learning the 4D World through Point Trajectory Forecasting
Key Point 멀티뷰 영상에서 3D 구조 이해와 동작 제어를 동시에 달성하는 새로운 접근법으로, 로봇 비전과 4D 생성 분야에 실질적인 개선을 가져온다.
핵심 요약
Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. 사전학습된 월드 모델을 확장해 카메라 조건부 멀티뷰 처리를 통해 여러 카메라의 보충적 정보를 통합하고, 물리적 점의 시간에 따른 움직임을 예측하는 궤적 헤드를 추가했다. 각 궤적은 모든 뷰에서 단일 점을 추적하며, 이를 영상 생성과 함께 감독함으로써 모든 카메라에서의 외관 변화를 3D 움직임의 공유된 설명으로 정렬한다. 전체 요약 6문장 읽기 → 021 12:11 ▲ 48 · 댓글 2 4단계만에 현실감 있는 영상 생성하는 구조 기반 렌더러 게임 엔진이나 코딩 에이전트가 장면의 레이아웃, 모션, 카메라를 지정하지만 이를 사실적인 영상으로 변환하려면 구조를 따르면서 외형을 채우는 렌더러가 필요하다. AI · 머신러닝 · SolarRenderer: Few-Step Generative Reference Rendering
Key Point 기존 50단계가 필요했던 구조 기반 렌더링을 4단계로 단축하면서도 미학습 표현 11개에 일반화되는 성과로, 게임 엔진 통합과 실시간 스트리밍 렌더링이 가능해진다.
핵심 요약
게임 엔진이나 코딩 에이전트가 장면의 레이아웃, 모션, 카메라를 지정하지만 이를 사실적인 영상으로 변환하려면 구조를 따르면서 외형을 채우는 렌더러가 필요하다. 기존 렌더러는 특정 엔진 표현에 종속되거나 수십 단계의 노이즈 제거가 필요하거나 별도의 비용 많이 드는 증류 과정이 필수다. SolarRenderer는 고정된 MiniMax-H3 33B 백본을 두 개의 가벼운 LoRA로 적응시킨 구조 조건 비디오 렌더러다. 전체 요약 8문장 읽기 → 022 00:11 ▲ 10 · 댓글 2 음성-영상 일관성을 평가하는 'AVC-Reward' 모델 제시 음성-영상 동시 생성 모델이 발전하면서 복수 이벤트 구성, 다층 음향 혼합, 비대칭 교차모달 관계 등 복잡한 장면을 생성할 수 있게 됐지만, 기존 평가 지표는 단순한 일방향 작업에서 파생되어 이런 복잡한 시나리오에 부적합하다. AI · 머신러닝 · AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
Key Point 음성-영상 생성 모델의 평가 방식이 모델 성능 향상 속도를 따라가지 못하고 있는 가운데, 복잡한 멀티모달 콘텐츠를 정확히 평가할 수 있는 새로운 지표가 제시된 점이 중요합니다.
핵심 요약
음성-영상 동시 생성 모델이 발전하면서 복수 이벤트 구성, 다층 음향 혼합, 비대칭 교차모달 관계 등 복잡한 장면을 생성할 수 있게 됐지만, 기존 평가 지표는 단순한 일방향 작업에서 파생되어 이런 복잡한 시나리오에 부적합하다. 논문은 이벤트 단위로 음성과 영상 이벤트를 분리하고 각각을 독립 분석하며 모달리티 간 관계를 교차검증한 뒤, 결과를 3단계 일관성 지표로 집계하는 이벤트 중심 평가 프레임워크를 제안한다. 이 지표는 전체 서사 조화도, 이벤트 단위 시간 동기화, 세부 속성 정렬을 평가한다. 전체 요약 6문장 읽기 → 023 21:11 당일 +403 코드 에디터에서 작동하는 투명 데스크톱 펫, 100+ 애니메이션 담아 공개 DeepSeek Harness(DSH) 플러그인으로 제공되는 투명 배경 데스크톱 펫으로, 100개 이상의 애니메이션(대기·행동·상호작용)을 탑재했다. 스타트업 · 비즈니스 · PC2005-cloud/dsh-pet · TypeScript
Key Point 데스크톱 펫을 직접 생성·커스터마이징할 수 있는 완전한 생성 체인이 공개되었으며, 이는 개발자가 AI 영상 생성과 자동화 소재 처리를 통해 자신의 고유한 데스크톱 펫을 만들 수 있음을 의미한다.
핵심 요약
DeepSeek Harness(DSH) 플러그인으로 제공되는 투명 배경 데스크톱 펫으로, 100개 이상의 애니메이션(대기·행동·상호작용)을 탑재했다. 한 줄 명령으로 설치하며 브라우저와 데스크톱 독립 창에서 동시 실행 가능하고, 다중 인스턴스로 여러 펫을 같은 화면에 배치할 수 있다. 크기·위치·display 모드(웹만/데스크톱만/둘 다/비표시)를 설정 페이지나 config.jsonc 파일로 구성 가능하며, 물리 시뮬레이션을 통해 드래그·투척·반발을 구현했다. 전체 요약 13문장 읽기 → 024 18:11 ▲ 73 · 댓글 4 영상 생성 지연 시간 없이 고품질 모델 쓰는 법 인터랙티브 영상 생성은 응답 지연을 줄이기 위해 작은 양방향 청크를 사용해왔으나, 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 소폭만 증가함을 발견했다. AI · 머신러닝 · Speculative Sampling in Interactive Video Generation
Key Point 실시간 영상 생성의 지연 시간과 품질 사이의 근본적 트레이드오프를 해소하는 기법으로, 스트리밍 기반 영상 생성 시스템의 아키텍처를 재설계한다.
핵심 요약
인터랙티브 영상 생성은 응답 지연을 줄이기 위해 작은 양방향 청크를 사용해왔으나, 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 소폭만 증가함을 발견했다. Speculative Sampling 기법을 제안하는데, 이는 큰 양방향 윈도우의 모델링 능력과 작은 윈도우의 저지연 상호작용을 결합한다. 노이즈 래턴트를 패딩으로 추가해 모델링 윈도우를 확장하고, 조건이 바뀌지 않으면 예측 결과를 캐시해 재사용한다. 전체 요약 7문장 읽기 → 025 21:11 ▲ 11 · 댓글 3 비디오 세계 모델의 기억력 평가 벤치마크 등장 동영상 생성 AI가 더 길고 현실적인 상호작용을 가능하게 하면서 일관된 가상 세계를 유지하는 것이 핵심 과제가 되고 있다. AI · 머신러닝 · WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models
Key Point 비디오 생성 AI가 시뮬레이션, 게임, 메타버스로 확장되면서 가상 세계의 일관성을 평가하는 표준 기준이 필요한 시점에 처음으로 체계화된 벤치마크가 나왔다.
핵심 요약
동영상 생성 AI가 더 길고 현실적인 상호작용을 가능하게 하면서 일관된 가상 세계를 유지하는 것이 핵심 과제가 되고 있다. 세계 기억력(world memory)은 시각 품질이나 영상 길이와 함께 평가해야 할 중요한 능력인데, 이를 체계적으로 측정할 방법이 없었다. 연구팀이 WorldMemBench를 개발했으며, 260개 테스트 케이스를 통해 정적 기억(사람의 정체성·외형, 물체 형태·배치, 환경 내용·구조)과 동적 기억(사건 진행, 상태 지속)을 평가한다. 전체 요약 7문장 읽기 → 026 15:11 ▲ 17 · 댓글 2 자동주행 AI, 시뮬레이션으로 가상 주행 영상 학습 자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. AI · 머신러닝 · SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
Key Point 자동주행 AI가 시뮬레이션으로 생성한 가상 영상을 학습 데이터로 사용해 강화학습 후보 궤적도 감독할 수 있게 되어, 제한된 실제 데이터만으로도 계획 성능을 5% 이상 향상시킬 수 있다.
핵심 요약
자동주행 세계 액션 모델(WAM)은 실제 주행 로그에서 기록된 궤적에 대한 영상 데이터만 갖고 있어, 강화학습으로 탐색한 대안적 궤적에는 시각적 감독이 없다. SimVTA는 이 문제를 해결하기 위해 시뮬레이션 기반 사후훈련 프레임워크를 제안한다. 각 관찰에 대해 후보 궤적을 샘플링하고, 3D 가우시안 스플래팅(3DGS)으로 재구성한 실제 장면에서 월드 엔진 같은 시뮬레이터로 높은 보상을 받는 궤적들의 미래 영상을 렌더링한다. 전체 요약 8문장 읽기 → 027 03:12 ▲ 17 · 댓글 2 실험실 절차 설명 영상 생성, 정확성 테스트로 한계 드러나 자동화된 과학실험(SDL)은 AI가 생성한 계획을 로봇이 직접 실행하는 것을 목표로 하지만, 복잡한 실험실 환경에서는 미세한 조작·장시간 절차·변수 많음 때문에 자동화가 어렵다. AI · 머신러닝 · LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures
Key Point AI 비디오 생성 모델이 실험실 절차를 정확히 설명할 수 있는지 처음 체계적으로 평가한 벤치마크로, 시각적 품질과 절차적 정확성의 근본적 차이를 보여준다.
핵심 요약
자동화된 과학실험(SDL)은 AI가 생성한 계획을 로봇이 직접 실행하는 것을 목표로 하지만, 복잡한 실험실 환경에서는 미세한 조작·장시간 절차·변수 많음 때문에 자동화가 어렵다. 현실적으로 AI 계획과 물리적 실험 사이에 인간이 필요하며, 실험실 절차는 본질적으로 시각적·공간적이어서 영상이 장비 배치·조작·시간 의존성·상태 변화를 전달하기에 좋다. 최근 비디오 생성 모델이 초기 작업 영상과 자연어 명령어로부터 실험 시연을 직접 합성할 수 있게 됐으나, 이런 모델이 실제 실험실 절차를 정확히 전달하는지는 체계적으로 검증되지 않았다. 전체 요약 5문장 읽기 → 028 21:11 당일 +103 필터 없는 AI 이미지·영상 생성 스튜디오 오픈소스화 Midjourney·Runway 같은 상용 AI 영상 플랫폼의 대안으로, 600개 이상 모델을 지원하는 오픈소스 생성형 AI 스튜디오를 공개했다. AI · 머신러닝 · Anil-matcha/Open-Generative-AI · JavaScript
Key Point 기존 상용 AI 영상 플랫폼의 높은 구독료와 필터 제한에서 벗어나, 600개 모델로 무제한 창작이 가능한 자체 호스팅 솔루션이 등장했다는 점이 중요합니다.
핵심 요약
Midjourney·Runway 같은 상용 AI 영상 플랫폼의 대안으로, 600개 이상 모델을 지원하는 오픈소스 생성형 AI 스튜디오를 공개했다. Flux·Kling·Sora·Veo 등 주요 이미지/영상 생성 모델 200여 개를 통합하고 콘텐츠 필터나 제한 없이 사용할 수 있다. 이미지·영상·음성·입술싱크·시네마·워크플로우 등 14개 스튜디오를 포함하며, 자체 호스팅 가능하고 MIT 라이선스로 완전 무료이다. 전체 요약 10문장 읽기 → 029 21:11 당일 +331 로컬 실행되는 AI 이미지·영상 생성 워크플로우 빌더 공개 HeliosGen은 무료 오픈소스 데스크톱 앱으로, 노드 기반의 시각적 인터페이스로 AI 이미지 및 영상 생성 워크플로우를 구축할 수 있다. AI · 머신러닝 · SegFault42/HeliosGen · TypeScript
Key Point 생성형 AI 도구를 클라우드 의존 없이 로컬에서 완전히 제어할 수 있는 대안이 필요한 개발자와 크리에이터에게 유용하며, 오픈소스이므로 커스터마이징과 자체 호스팅이 가능하다.
핵심 요약
HeliosGen은 무료 오픈소스 데스크톱 앱으로, 노드 기반의 시각적 인터페이스로 AI 이미지 및 영상 생성 워크플로우를 구축할 수 있다. 모든 데이터와 생성 결과가 로컬 머신에서만 실행되며, 클라우드 계정이나 구독 없이 kie.ai API 키만으로 동작한다. GPT Image 2, Google Nano Banana, Seedream, Z-Image, Grok Imagine 등의 이미지 모델과 Veo 3.1, Gemini Omni Video, Kling 3.0, Seedance 2.0 등의 영상 모델을 지원한다. 전체 요약 12문장 읽기 → 030 21:11 ▲ 34 · 댓글 2 동영상 초고화질화, 일반 GPU로 4K 실시간 처리 가능해졌다 기존 동영상 초고화질화(VSR) 모델이 확산 증류를 통해 한 단계 생성으로 효율성을 높였으나, 고해상도 추론 비용이 크고 생성 결과가 사용자 선호와 맞추기 어려운 문제가 있었다. AI · 머신러닝 · FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching
Key Point 동영상 초고화질화가 실용적인 수준의 속도와 메모리 효율로 4K 고해상도 처리가 가능해지면서, 콘텐츠 제작자와 개발자들이 일반 사양 GPU에서도 고품질 영상 생성을 구현할 수 있게 되었다.
핵심 요약
기존 동영상 초고화질화(VSR) 모델이 확산 증류를 통해 한 단계 생성으로 효율성을 높였으나, 고해상도 추론 비용이 크고 생성 결과가 사용자 선호와 맞추기 어려운 문제가 있었다. FlashVSR+는 하이브리드 어텐션 메커니즘을 도입해 사전학습된 VSR 모델의 강한 지역성(locality)을 활용하면서 장거리 일관성을 위해 희소 전역 상호작용을 유지한다. 이를 통해 DiT 속도를 최대 2배 높이고 피크 메모리를 45% 감소시켜, RTX 4090 24GB 단일 GPU에서 타일 분할 없이 4K 영상 초고화질화를 가능하게 했다. 전체 요약 7문장 읽기 → 031 21:11 ▲ 16 · 댓글 2 영상 생성 속도 2배 이상 높인 경량 VAE 기법 공개 영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. AI · 머신러닝 · LightVAE: Towards Compact and Efficient Video Autoencoders
Key Point 영상 생성 모델의 추론 속도를 2배 이상 높일 수 있는 기술이 공개되어, 실시간 영상 생성 서비스의 비용과 성능을 크게 개선할 수 있게 되었다.
핵심 요약
영상 확산 모델의 성능은 좋지만, VAE 인코딩과 디코딩에 높은 계산 비용이 들어가는 것이 문제이다. 기존 방식은 공간과 시간 계산을 함께 제약하거나 시간 계산을 제거했으나, Conv3D에서 두 차원의 압축 민감도를 구분하지 못했다. LightVAE는 시간 모델링과 네트워크 깊이의 중복성을 이용하는 압축 프레임워크다. 전체 요약 12문장 읽기 → 032 15:11 ▲ 21 · 댓글 2 영상을 3D 장면으로 재구성하는 AI 에이전트 평가 벤치마크 공개 영화 제작을 위한 제어 가능한 영상 생성을 목표로, 동영상으로부터 편집 가능한 동적 3D 장면을 재구성하는 AI 에이전트의 능력을 평가하는 벤치마크 'CineRecon'을 소개했다. AI · 머신러닝 · CineRecon: Benchmarking Frontier Models for Agentic Cinematic Reconstruction
Key Point 영상 생성 및 3D 재구성 기술의 발전 상황을 정량적으로 측정하는 공식 벤치마크가 처음 제시되었으며, 주요 AI 모델들의 구체적인 한계를 보여줍니다.
핵심 요약
영화 제작을 위한 제어 가능한 영상 생성을 목표로, 동영상으로부터 편집 가능한 동적 3D 장면을 재구성하는 AI 에이전트의 능력을 평가하는 벤치마크 'CineRecon'을 소개했다. 벤치마크는 50개의 참조 영상과 360개의 주석이 달린 평가 클립으로 구성되며, 영화, 실제 영상, 게임 등 다양한 출처의 영상을 포함한다. 에이전트는 주어진 영상으로부터 도구를 사용해 3D 장면을 구성, 애니메이션, 렌더링, 개선하며, Proxy(기본), Simplified(간단), Detailed(상세) 세 가지 재현 수준으로 평가된다. 전체 요약 5문장 읽기 → 033 15:11 ▲ 56 · 댓글 2 다중 플레이어 게임 세계를 효율적으로 생성하는 계층 통신 모델 다중 플레이어 인터랙티브 월드 모델은 여러 플레이어의 관점에서 공유 환경을 시뮬레이션해야 하지만, 플레이어 수가 증가할 때 강건한 생성을 유지하기 어렵다. AI · 머신러닝 · Multics: Generative Multi-Player World Model with Hierarchical Communication
Key Point 게임·메타버스 개발에서 많은 플레이어를 효율적으로 처리하는 영상 생성 기술의 확장성 문제를 푼 방법으로, 재학습 없이 여러 규모에 대응하고 계산 비용을 줄일 수 있다.
핵심 요약
다중 플레이어 인터랙티브 월드 모델은 여러 플레이어의 관점에서 공유 환경을 시뮬레이션해야 하지만, 플레이어 수가 증가할 때 강건한 생성을 유지하기 어렵다. 기존 방식(Solaris의 완전 연결 통신)은 플레이어 수에 따라 주의 비용이 이차적으로 증가하고, 중앙식 접근법(γ-World)은 공유 표현에서 무관한 이벤트 간 간섭 문제가 있다. Multics는 플레이어·그룹·전역 레벨에서 정보 교환을 구조화하는 계층 통신으로 이를 해결한다. 전체 요약 9문장 읽기 → 034 21:11 ▲ 82 · 댓글 2 사용자 개입 받으며 생성되는 동영상, 문맥 기반으로 제어한다 영상 생성 시 시청자가 실시간으로 개입할 때, 시청자의 요청이 원본 자료와 현재까지 생성된 영상 상태에 모두 의존하는 문제가 발생한다. AI · 머신러닝 · VIS-Ground: Video Interactive Storytelling with Contextual Grounding
Key Point 시청자가 실시간으로 영상 생성에 개입할 때 원본 자료, 이전 생성물, 새로운 요청 간의 숨겨진 관계를 모두 파악해야 정확한 결과를 낼 수 있다는 근본적인 문제를 해결하는 방법을 제시한다.
핵심 요약
영상 생성 시 시청자가 실시간으로 개입할 때, 시청자의 요청이 원본 자료와 현재까지 생성된 영상 상태에 모두 의존하는 문제가 발생한다. 기존 대화형 영상 생성 시스템은 사용자 지시만 따르거나, 외부 자료 정렬에만 집중해 문맥 기반 제약을 제대로 다루지 못했다. VIS-Ground는 이질적이고 비정형인 입력 정보를 구조화된 제약 모델로 변환한다. 전체 요약 7문장 읽기 → 035 15:11 ▲ 39 · 댓글 2 음성·음악 분리와 생성을 한 번에, 오디오-비디오 AI 모델 SepGen 음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다. AI · 머신러닝 · SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
Key Point 비디오에서 개별 음원을 자동 분리·생성할 수 있게 되면 3D 음성화(audio spatialization)나 음향 편집 등 실제 영상 제작 워크플로우가 단순해질 수 있으며, 기존 단순 음성 분리 모델을 능가하는 성능을 보인다.
핵심 요약
음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다. 생성 모드에서는 각 음원 캡션이 해당 스템의 내용을 지정하며, 예를 들어 두 명의 대사는 각 화자마다 하나의 스템으로 원래 순서대로 분리된다. 분리 모드에서는 입력 오디오 혼합을 유지하면서 캡션으로 추출할 내용을 지정하여, 자유형식 설명으로부터 녹음을 분해할 수 있다. 전체 요약 6문장 읽기 → 036 21:11 당일 +362 스트리밍 3D 재구성 모델 LingBot-Map 공개 Robbyant 팀이 실시간 3D 재구성을 위한 피드포워드 3D 기초 모델 LingBot-Map을 공개했다. AI · 머신러닝 · Robbyant/lingbot-map · Python
Key Point 실시간 카메라 입력으로 고품질 3D 장면을 20 FPS 이상 처리할 수 있는 스트리밍 재구성 모델로, SLAM 및 3D 비전 분야에서 새로운 효율성 기준을 제시한다.
핵심 요약
Robbyant 팀이 실시간 3D 재구성을 위한 피드포워드 3D 기초 모델 LingBot-Map을 공개했다. Geometric Context Transformer 아키텍처를 통해 좌표 정렬, 기하 신호, 드리프트 보정을 단일 스트리밍 프레임워크로 통합했으며, 앵커 컨텍스트, 포즈 참조 윈도우, 궤적 메모리를 활용한다. 518×378 해상도에서 10,000프레임 이상의 긴 시퀀스에 대해 초당 약 20프레임 속도로 안정적인 추론이 가능한 고효율 스트리밍 추론을 제공한다. 전체 요약 12문장 읽기 → 037 21:11 당일 +196 영상 자동 생성, 이제 AI 편집기에 장착한다 Claude Code나 Codex용 AI 에이전트 스킬로, 제품 스크린샷과 설명을 입력하면 Remotion 기반 영상을 자동 제작하는 도구다. AI · 머신러닝 · Vincentwei1021/video-shotcraft · TypeScript
Key Point AI가 제품 영상을 완전 자동으로 제작하고 웹에서 바로 편집할 수 있는 프로덕션 도구가 오픈소스로 공개됐으며, 기업 마케팅 영상 제작 방식이 크게 바뀔 가능성을 보여준다.
핵심 요약
Claude Code나 Codex용 AI 에이전트 스킬로, 제품 스크린샷과 설명을 입력하면 Remotion 기반 영상을 자동 제작하는 도구다. 152장의 샷 레시피 카드, 214개 모션 프리뷰, 9가지 필름 테마(Ink Press, Modern Light, Midnight 등)를 제공한다. 스토리보딩, 2.5D 카메라 움직임, 비트 싱크 컷, 영화급 음향 설계가 자동으로 적용되며, 템플릿은 36.2초 1920×1080 30fps 완성본으로 검증됐다. 전체 요약 11문장 읽기 → 038 18:30 ▲ 17 · 댓글 2 광고 영상 생성용 대규모 데이터셋 'AdSpark' 공개 제품 정체성을 보존하면서 판매 포인트를 다중 장면 내러티브로 표현하는 광고 영상 생성 연구를 위해 AdSpark 데이터셋과 벤치마크를 발표했다. AI · 머신러닝 · AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
Key Point 제품 광고 영상 생성이라는 새로운 작업을 위해 처음으로 대규모 구조화 데이터셋과 다차원 평가 프레임워크를 제시해, 이 분야 연구의 기초를 마련한다.
핵심 요약
제품 정체성을 보존하면서 판매 포인트를 다중 장면 내러티브로 표현하는 광고 영상 생성 연구를 위해 AdSpark 데이터셋과 벤치마크를 발표했다. AdSpark-300K는 이커머스 플랫폼 데이터를 바탕으로 약 30만 개의 이미지-프롬프트-영상 3쌍으로 구성되며, 실제 데이터와 합성 데이터 부분집합을 포함한다. 각 샘플에는 제품 식별 주석, 판매 포인트 설명, 창의적 계획, 정렬된 음성 스크립트 등 구조화된 광고 주석이 포함되어 있다. 전체 요약 6문장 읽기 → 039 18:33 ▲ 74 · 댓글 2 영상 생성을 위한 멀티레벨 분포 매칭 'DuoMatching' 제시 스트리밍 영상 생성에서 기존의 분포 매칭 증류(DMD) 기법은 비디오 프레임의 결합 분포를 교사 모델의 실제 분포 근사와 일치시켜 자회귀 롤아웃 중 표류를 완화하지만, 시각 품질과 의미 정렬의 한계가 있다. AI · 머신러닝 · DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
Key Point 기존 영상 생성 기법의 품질 한계를 다층 분포 매칭으로 해결하는 새로운 방법론으로, 이미지 생성 기술의 강점을 영상 분야에 효과적으로 이전하는 핵심 기술을 보여준다.
핵심 요약
스트리밍 영상 생성에서 기존의 분포 매칭 증류(DMD) 기법은 비디오 프레임의 결합 분포를 교사 모델의 실제 분포 근사와 일치시켜 자회귀 롤아웃 중 표류를 완화하지만, 시각 품질과 의미 정렬의 한계가 있다. 이를 해결하기 위해 DuoMatching은 결합-한계 분포 매칭을 통해 실제 영상 분포를 근사하는 프레임워크를 제안하며, 기존 결합 매칭에 한계 매칭 목표를 추가해 이미지 생성기로부터 프레임 수준의 감독을 제공한다. LatentBridge는 비디오 학생 모델과 이미지 교사 모델 간의 잠재 표현 불일치를 해결하기 위해 도입되었으며, Latent Variation Sampling은 프레임 수준 감독을 시간 구간 전체에 분산시켜 중복성을 줄인다. 전체 요약 4문장 읽기 → 040 18:35 ▲ 117 · 댓글 3 Kandinsky 6.0 Video, 텍스트로 음성 동기화 영상 생성 Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. AI · 머신러닝 · Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
Key Point 음성과 영상이 완벽하게 동기화된 멀티모달 생성 기술이 오픈소스로 공개되어 영상 제작 자동화와 멀티미디어 연구를 가속할 수 있게 되었습니다.
핵심 요약
Hugging Face가 Kandinsky 6.0 Video 출시, 텍스트와 이미지로부터 음성이 동기화된 영상을 생성하는 기초 확산 모델. 경량 버전(3B 파라미터)과 고성능 버전(29B 파라미터) 두 종류로, 5초 영상과 44 kHz 음성을 립싱크 포함해 생성. 텍스트-오디오-비디오(T2AV)와 이미지-오디오-비디오(I2AV) 모드 지원하며, 내장 초해상화로 1920×1080 풀HD 출력 가능. 전체 요약 8문장 읽기 → 041 18:35 ▲ 35 · 댓글 2 장시간 영상 생성 시 표현 붕괴 문제 해결 기법 제시 자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. AI · 머신러닝 · In-Distribution Forcing for Long Video Generation at Test Time
Key Point 자동회귀 비디오 생성 모델의 장시간 생성에서 흔히 발생하는 표현 붕괴 문제를 근본적으로 해결하는 방식을 제시하며, 분당 단위 길이의 영상 생성을 가능하게 한다.
핵심 요약
자동회귀형 비디오 확산 모델은 단시간 영상 생성에는 뛰어나지만, 색상·텍스처 변화와 동작 역학 감소로 인한 드리프팅 현상으로 장시간 영상 생성이 어렵다. 기존 방식은 KV 조건화(캐시된 키-밸류 항목 선택·수정)로 드리프팅을 완화하려 했으나, 훈련 범위를 초과하면 캐시 항목 자체가 분포 외(OOD)가 되는 KV-provenance 문제가 발생한다. 이를 해결하기 위해 In-Distribution Forcing(ID-Forcing)을 제시하는데, 이는 KV 캐싱과 조건화를 훈련 설정과 정렬시키는 테스트타임 프레임워크다. 전체 요약 6문장 읽기 → 042 06:11 ▲ 25 · 댓글 3 로봇 제어를 위한 생성형 디노이징 방식 NowWAM 제안 사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. AI · 머신러닝 · Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
Key Point 기존의 영상 예측 기반 로봇 제어 방식에서 벗어나 더 효율적인 디노이징 방식이 비슷하거나 더 나은 성능을 내면서도 계산량은 절반, 추론 속도는 1.8배 빠르다는 점이 실제 로봇 응용에서 의미가 있습니다.
핵심 요약
사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. 본 논문은 사전학습된 생성형 모델이 행동 학습에 실제로 무엇을 기여하는지, 그리고 제어를 위해 어떻게 적응해야 하는지 묻는다. NowWAM은 현재 관찰을 디노이징하고 같은 시각 스트림에서 로봇 행동을 예측하는 미래-목표-자유 방식의 공동 학습 방식으로, 생성 목표를 디노이징 궤적 전체에서 행동 표현에 직접 연결한다. 전체 요약 7문장 읽기 → 043 21:11 ▲ 47 · 댓글 1 장시간 영상 생성 모델에 공간 기억 지능 더하다 장시간 영상 생성과 월드 모델은 사용자 행동과 과거 기억을 바탕으로 미래 관측치를 예측해 상호작용 가능한 엔터테인먼트와 embodied simulation을 실현했으나, 메모리 길이가 길어지고 구조가 복잡해질수록 장거리 공간 맥락 관리가 어려워진다. AI · 머신러닝 · Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
Key Point MLLM의 공간 이해 능력을 처음으로 체계적으로 메모리 관리에 적용해 장시간 영상 생성의 근본적인 한계를 푸는 새로운 접근이다.
핵심 요약
장시간 영상 생성과 월드 모델은 사용자 행동과 과거 기억을 바탕으로 미래 관측치를 예측해 상호작용 가능한 엔터테인먼트와 embodied simulation을 실현했으나, 메모리 길이가 길어지고 구조가 복잡해질수록 장거리 공간 맥락 관리가 어려워진다. Spatial Memory Intelligence(SMI)는 다중모드 대규모 언어 모델(MLLM)의 공간 추론 능력을 활용해 장시간 영상 월드 모델의 메모리 관리를 체계화한 첫 프레임워크다. SMI는 공간 클러스터링, 클러스터 내 스파시피케이션, 행동 기반 검색, 신뢰도 기반 필터링 4개의 조정된 원자 연산을 도입한다. 전체 요약 4문장 읽기 → 044 15:11 ▲ 91 · 댓글 4 장시간 영상 생성용 미래 예측 프레임 선택 기법 FrameMorrow 장시간 영상 생성에서 생성 이력이 길어질수록 모든 이전 콘텐츠를 유지하는 것이 비효율적이고 중복적이어서 효과적인 이력 선택이 필수적이다. AI · 머신러닝 · FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
Key Point 장시간 영상을 일관되게 생성하는 핵심 병목인 메모리 효율성을 미래 예측 기반 선택으로 해결하는 새로운 접근법이 실제 환경에서 효과를 입증했다.
핵심 요약
장시간 영상 생성에서 생성 이력이 길어질수록 모든 이전 콘텐츠를 유지하는 것이 비효율적이고 중복적이어서 효과적인 이력 선택이 필수적이다. 기존 방식들은 현재 콘텐츠 기반으로 과거 정보의 관련성을 판단하지만, 현재에 관련된 정보가 미래 생성에 반드시 유용한 것은 아니고 적어 보이는 과거가 나중에 중요할 수 있다. 핵심 통찰은 과거 정보를 미래 정보 수요에 대한 관련성에 따라 선택해야 한다는 것이다. 전체 요약 8문장 읽기 → 045 15:11 ▲ 44 · 댓글 3 비디오가 물리 법칙을 얼마나 잘 이해하나 측정하는 벤치마크 물리 현상을 정확히 표현하는 비디오 생성 모델을 평가하기 위해 World Embedding Benchmark를 공개했다. AI · 머신러닝 · World Embedding Benchmark
Key Point 비디오 생성의 물리적 정확성을 평가하는 첫 벤치마크로, 현재 AI 모델들의 물리 이해도를 측정하고 개선 방향을 보여준다.
핵심 요약
물리 현상을 정확히 표현하는 비디오 생성 모델을 평가하기 위해 World Embedding Benchmark를 공개했다. 유체역학, 고체역학, 동역학, 광학·전자기학 등 80개 종류에서 8,000개의 시뮬레이션 영상을 수집하고, 각 영상에 시뮬레이션 기반의 물리 주석을 달았다. 텍스트-영상 검색, 물리적 성질 회귀, 다중선택 분류라는 세 가지 평가 작업으로 영상 임베딩이 물리 정보를 얼마나 잘 인코딩하는지 측정한다. 전체 요약 7문장 읽기 → 046 00:11 ▲ 14 · 댓글 2 데이터 동영상을 자동으로 만드는 AI 도구 DataMagic 데이터 동영상은 동적 차트, 음성 해설, 동기화된 애니메이션으로 데이터 인사이트를 전달하는 데이터 스토리텔링 형식이지만, 제작에는 데이터 분석·서사 설계·영상 편집 전문성이 필요했다. AI · 머신러닝 · DataMagic: Authoring Data Videos through Declarative Multi-Agent Orchestration
Key Point LLM만으로는 데이터 정확성과 서사 일관성을 동시에 보장하기 어려운 데이터 동영상 생성의 구조적 한계를 해결하는 실용적 접근법을 제시합니다.
핵심 요약
데이터 동영상은 동적 차트, 음성 해설, 동기화된 애니메이션으로 데이터 인사이트를 전달하는 데이터 스토리텔링 형식이지만, 제작에는 데이터 분석·서사 설계·영상 편집 전문성이 필요했다. 기존 시각화 도구는 서사와 애니메이션 기능이 부족하고, 저작 도구는 사전 준비된 차트에 의존하며, 픽셀 기반 모델은 데이터 정확성과 출처 추적을 보장하지 못한다. DataMagic은 원본 표 형식 데이터로부터 선언형 다중 에이전트 오케스트레이션을 통해 데이터 동영상을 자동 생성한다. 전체 요약 8문장 읽기 → 047 00:11 ▲ 11 · 댓글 2 동영상 AI가 글씨를 제대로 쓰지 못한다 최신 동영상 생성 모델들이 자연어 지시로 현실 같은 영상을 만들어내지만, 기존 평가 기준은 시각 품질과 물리적 타당성에만 집중해 장면 속 텍스트 렌더링을 제대로 평가하지 못하고 있다. AI · 머신러닝 · VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation
Key Point 동영상 생성 AI 모델들이 영상 품질은 우수하지만 장면 속 글씨 렌더링이라는 맹점을 가진 이유를 체계적으로 드러내며, 텍스트 기반 평가 기준이 필요함을 보여준다.
핵심 요약
최신 동영상 생성 모델들이 자연어 지시로 현실 같은 영상을 만들어내지만, 기존 평가 기준은 시각 품질과 물리적 타당성에만 집중해 장면 속 텍스트 렌더링을 제대로 평가하지 못하고 있다. 광고와 과학 영상 등 5가지 실제 사용 사례를 바탕으로 300개의 프롬프트로 구성된 VTR-Bench 벤치마크를 개발했으며, 텍스트 충실도를 평가하는 자동화 파이프라인과 인간 평가 기준을 포함한다. Director 에이전트가 이미지·동영상 생성과 시각 평가를 조율하며 반복적 개선을 진행하는 Keyframe-Guided Agentic Framework를 함께 제시한다. 전체 요약 5문장 읽기 → 048 00:11 ▲ 11 · 댓글 2 예측 가능한 의미 토큰으로 영상 생성 가속화 최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. AI · 머신러닝 · SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Key Point 자동회귀 영상 생성에서 모델 크기 대비 성능 효율이 3배 이상 개선되면서, 비용 효율적인 고품질 영상 생성 시스템 구축이 가능해진다.
핵심 요약
최근 영상 생성 모델들은 자기회귀 예측의 확장성과 확산 모델의 시각적 품질을 결합하고 있으며, 이 과정에서 장면 토크나이저의 선택이 핵심이다. 기존 유연한 토크나이저들은 초기 디코더 숨김층에만 표현 정렬(REPA) 손실을 적용하는데, 디코더가 노이즈 입력에서 이를 부분적으로만 충족할 수 있다는 문제가 있다. SemanTok은 고정된 DINO 특징을 인코더에 입력하고 각 토큰 접두사에서 이들을 재구성하는 경량 헤드를 추가한 유연한 영상 토크나이저다. 전체 요약 6문장 읽기 → 049 12:11 ▲ 54 · 댓글 2 동영상 생성 모델의 정렬 문제, 첫 종합 가이드 동영상 생성 기술이 저해상도 단편에서 고해상도 장시간 시퀀스로 급속도 발전했으나, 사전학습된 모델은 인간 의도 따르기·시간적 일관성 유지·물리법칙 준수에 실패하는 경우가 많다. AI · 머신러닝 · Video Generation Models: A Survey of Post-Training and Alignment
Key Point 동영상 생성 모델이 인간 의도를 제대로 따르지 못하는 근본적인 정렬 문제를 체계화한 첫 종합 가이드로, 앞으로의 동영상 생성 기술 개발 방향을 정리해준다.
핵심 요약
동영상 생성 기술이 저해상도 단편에서 고해상도 장시간 시퀀스로 급속도 발전했으나, 사전학습된 모델은 인간 의도 따르기·시간적 일관성 유지·물리법칙 준수에 실패하는 경우가 많다. 동영상 생성의 정렬(alignment)은 이미지·텍스트 생성보다 난제가 많은데, 누적 오차·움직임-외형 결합·다목적 트레이드오프·시간적 속성의 제한된 감독이 주요 과제다. 이 논문은 동영상 모델의 사후학습(post-training)과 정렬을 다룬 첫 종합 리뷰로, 정렬 신호 적용 방식에 따라 암묵적 정렬과 명시적 정렬로 구분한다. 전체 요약 6문장 읽기 → 050 15:11 ▲ 64 · 댓글 2 프로그래밍 가능한 영상 생성 모델의 정확성을 테스트하는 벤치마크 프로그래밍 가능한 월드 모델은 시뮬레이션 엔진에서 실행되는 동작과 시각적 생성을 분리해 차세대 게임 엔진의 기반을 제시한다. AI · 머신러닝 · ROWBench: Do Video Models Render What the Program Specifies?
Key Point 프로그래밍 가능한 월드 모델이 실제로 프로그램의 명령을 정확히 시각화하는지 검증하는 첫 체계적 벤치마크로, 차세대 게임 엔진과 시뮬레이션 환경의 신뢰성 기준을 제시한다.
핵심 요약
프로그래밍 가능한 월드 모델은 시뮬레이션 엔진에서 실행되는 동작과 시각적 생성을 분리해 차세대 게임 엔진의 기반을 제시한다. 기존 벤치마크는 시각 품질, 제어 가능성, 명령어·물리 준수만 평가했으나 프로그램이 지정한 세부 이벤트에 대한 시각적 충실성은 거의 검증하지 않았다. 연구팀은 170개의 프로그래매틱 에피소드와 600개의 대리 영상으로 구성한 PROWBench를 제안했으며, 다양한 장면과 상호작용을 다룬다. 전체 요약 7문장 읽기 → 051 12:11 ▲ 124 · 댓글 2 동영상 생성 AI의 음성-영상 동기화를 위한 적응형 보상 라우팅 기법 오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. AI · 머신러닝 · Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
Key Point 음성-영상 생성 AI의 동기화와 품질을 동시에 높이는 새로운 최적화 기법으로, 여러 목표가 충돌할 때 동적으로 가중치를 조정하는 방식이 향후 멀티모달 생성 모델 개선의 방향을 제시한다.
핵심 요약
오디오-비디오 확산 모델을 개선하기 위해 여러 보상 신호를 활용하는 강화학습 방식이 있지만, 훈련 과정에서 보상 가중치와 적용 위치가 고정되어 있어 모델의 변화하는 특성을 따라가지 못한다. 논문은 Adaptive Reward Routing이라는 새로운 방법을 제안하며, 이는 음성 품질, 영상 품질, 교차-모달 의미 일치, 시간적 동기화 등 여러 목표를 동시에 최적화한다. 첫 번째 구성 요소는 Cross-Modal Influence-Guided Routing으로, 양방향 교차-주의 응답을 이용해 변화하는 모달 간 영향을 추적하면서 토큰별 손실을 동적으로 재가중화하고 그래디언트를 조정한다. 전체 요약 6문장 읽기 → 052 06:11 ▲ 10 · 댓글 3 동영상의 마지막 장면을 지정해서 만드는 영상생성 AI 이미지에서 동영상을 생성할 때 카메라 움직임뿐 아니라 미래 장면의 배치(Layout)를 제어할 수 있는 LIFT 프레임워크를 제시했다. AI · 머신러닝 · LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
Key Point 텍스트와 카메라 제어만으로는 불가능했던 '마지막 장면 모습 지정'이라는 실용적 수요를 해결한 새로운 방식으로, 동영상 생성의 사용자 제어 범위를 크게 확장한다.
핵심 요약
이미지에서 동영상을 생성할 때 카메라 움직임뿐 아니라 미래 장면의 배치(Layout)를 제어할 수 있는 LIFT 프레임워크를 제시했다. 기존 카메라 제어는 시점 궤적만 지정하고 텍스트 프롬프트는 개략적인 의미만 제공해서, 미래 프레임의 구체적인 내용과 공간 배치를 결정할 수 없다는 한계가 있다. 특히 카메라가 초기 이미지에서 보이지 않는 영역을 드러내는 대규모 시점 변화 상황에서는 이 문제가 심각해진다. 전체 요약 7문장 읽기 → 053 03:11 ▲ 25 · 댓글 1 MLLM의 추론력으로 영상 편집을 정밀하게 제어하는 ThinkV2V 기존 영상 편집 방식은 MLLM을 의미 인코더로만 사용해 암묵적인 편집 지시를 제대로 처리하지 못했다. AI · 머신러닝 · ThinkV2V: Unleashing the Reasoning Capability of MLLMs for Instruction-Guided Video Editing
Key Point MLLM의 추론 능력을 활용해 기존에 처리하지 못하던 복잡한 영상 편집 지시를 정확히 따르는 방법을 제시하며, 더 작은 모델로 더 큰 기준선을 능가하는 결과를 보였다.
핵심 요약
기존 영상 편집 방식은 MLLM을 의미 인코더로만 사용해 암묵적인 편집 지시를 제대로 처리하지 못했다. ThinkV2V는 MLLM의 사고 과정을 명시적으로 활성화한 뒤 영상 생성을 진행하는 추론 기반 프레임워크를 제안한다. MLLM-to-DiT 아키텍처로 영상과 지시에 대한 사고를 정제된 신호로 변환해 편집을 제어한다. 전체 요약 6문장 읽기 → 054 00:11 ▲ 17 · 댓글 1 장편 영상 스토리 일관성 유지하는 AI 프레임워크 공개 AI 에이전트가 여러 장면으로 긴 영상을 생성할 때 스토리의 일관성을 유지하는 것이 어렵다는 문제가 있다. AI · 머신러닝 · StoryEngine: A State-Grounded Agentic Framework for Video Storytelling
Key Point 영상 생성 AI가 장편 콘텐츠에서 등장인물·배경의 일관성을 유지하지 못하는 근본적인 한계를 '상태 추적'으로 해결하는 첫 체계적 접근이라는 점에서 의미가 있습니다.
핵심 요약
AI 에이전트가 여러 장면으로 긴 영상을 생성할 때 스토리의 일관성을 유지하는 것이 어렵다는 문제가 있다. 기존 방식은 텍스트 기반 계획이나 이전 프레임에만 의존해 스토리 이벤트의 결과를 명시적으로 추적하지 않아 시각적 오류가 누적된다. 연구팀이 제안한 StoryEngine은 구조화된 상태 표현으로 등장인물·소품·스토리 상태를 추적하고, 각 장면의 시작·종료 상태를 정의한다. 전체 요약 7문장 읽기 → 055 18:11 ▲ 11 · 댓글 2 영상 편집에 물리 엔진을 입혔다, VideoPhysEdit 비디오 편집 기술이 그림자와 가림 현상 같은 시각적 효과는 잘 처리하지만, 물리 법칙에 따른 움직임 변화는 거의 다루지 않는다. AI · 머신러닝 · VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction
Key Point 비디오 편집에서 물리 시뮬레이션 기반 움직임 예측까지 다루는 새로운 접근으로, 현재 AI 영상 생성 기술의 큰 공백을 채운다.
핵심 요약
비디오 편집 기술이 그림자와 가림 현상 같은 시각적 효과는 잘 처리하지만, 물리 법칙에 따른 움직임 변화는 거의 다루지 않는다. 연구팀이 '물리적 반사실 비디오 편집(PCVE)' 문제를 정의했으니, 편집된 장면에서 물리 시뮬레이션으로 실제 움직임과 상호작용이 어떻게 변할지 예측하는 것이다. VideoPhysEdit은 학습 없이 동작하는 새로운 파이프라인으로, 정확한 물리 장면을 재구성해 현실의 움직임을 시뮬레이션에서 재현한 뒤, 편집을 중재(intervention)로 적용해 새로운 궤적을 생성한다. 전체 요약 6문장 읽기 → 056 18:11 ▲ 29 · 댓글 2 한 번의 단계로 4K 영상 생성하는 비디오 정제 기법 발표 저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. AI · 머신러닝 · SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video
Key Point 고해상도 비디오 생성의 계산 비용을 획기적으로 줄이면서도 품질을 유지하는 방법론으로, 실시간 영상 생성 애플리케이션의 실용화에 직접 영향을 준다.
핵심 요약
저해상도 비디오를 고해상도로 변환하는 과정에서 기존 다단계 정제는 계산 병목이 되는 문제를 해결하기 위해 한 번의 디노이징 단계로 4K 영상을 생성하는 SoL-Refiner를 제시했다. 고해상도 지속 학습, 강화학습(RL) 후학습, 한 단계 증류의 세 단계 학습 레시피를 적용했다. 논문은 다양한 비디오 생성 모델의 출력을 바탕으로 한 Refiner-Bench 벤치마크를 구축하고, 약 2K 해상도에서 다양한 정제 모델을 비교하는 공통 입력 프로토콜을 도입했다. 전체 요약 5문장 읽기 → 057 18:11 ▲ 15 · 댓글 2 로봇 매니퓨레이션을 위한 영상 시뮬레이터 WorldLine 공개 로봇 학습의 물리적 실행 비용을 줄이기 위해 영상 생성 모델 기반 시각 시뮬레이터가 필요한데, 기존 모델은 행동 추종 정확도와 로봇-객체 동역학 일관성이 부족하고 구체적 제어 데이터에 의존한다. AI · 머신러닝 · WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
Key Point 로봇 매니퓰레이션 학습에서 물리적 실행 없이 행동 결과를 예측할 수 있는 범용 시뮬레이터는 개발 비용과 안전 위험을 크게 줄일 수 있기 때문입니다.
핵심 요약
로봇 학습의 물리적 실행 비용을 줄이기 위해 영상 생성 모델 기반 시각 시뮬레이터가 필요한데, 기존 모델은 행동 추종 정확도와 로봇-객체 동역학 일관성이 부족하고 구체적 제어 데이터에 의존한다. WorldLine은 행동 기반 시각 시뮬레이터로, 전이 가능한 동역학 학습을 이질적인 행동 그라운딩으로부터 분리한다. 10,000시간 이상의 행동 없는 로봇 영상과 10개 이상 로봇 체형에서 2,000시간 이상의 행동 궤적으로 학습한다. 전체 요약 8문장 읽기 → 058 15:11 ▲ 25 · 댓글 2 동영상 생성 모델의 '일괄 증류' 기술 공개 동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. AI · 머신러닝 · LongLive-Plug: Once-for-All Distillation for Video Generation
Key Point 동영상 생성 모델 특화로 인한 반복 학습 비용을 획기적으로 줄이는 기술로, 실제 배포된 54개 모델에서 검증되었기 때문에 현실성 있는 효율화 방안을 제시한다.
핵심 요약
동영상 확산 모델이 다양한 작업에 특화되면서 각각 증류 단계를 반복하는 비효율이 발생하고 있다. LongLive-Plug는 한 번의 학습으로 여러 모델에 재사용 가능한 기능을 LoRA로 학습하는 일괄 증류 프레임워크다. 단일 패스 분류기 없는 가이던스, 소수 단계 샘플링, 자동회귀 생성의 장기 맥락 오류 보정 기능을 제공한다. 전체 요약 8문장 읽기 → 059 12:11 ▲ 244 · 댓글 1 코드로 그리는 이미지·영상, 생성 과정 검증하는 프레임워크 생성 AI가 만든 프로그램이 정상 실행되더라도 요청한 이미지나 영상의 구성·외형·동작이 맞지 않는 문제(Program-to-Visual 갭)를 다룬다. AI · 머신러닝 · MaLiang-Harness: A Programmable Path to Image and Video Generation
Key Point MLLM의 프로그래밍 기반 이미지·영상 생성 능력을 체계적으로 평가하는 첫 벤치마크를 제시하며, 일반 벤치마크로는 예측할 수 없는 시각 생성 성능의 차이를 노출시킨다.
핵심 요약
생성 AI가 만든 프로그램이 정상 실행되더라도 요청한 이미지나 영상의 구성·외형·동작이 맞지 않는 문제(Program-to-Visual 갭)를 다룬다. MaLiang-Harness는 MLLM이 시각 생성 작업을 구성→검증→수정하는 지속적 과정으로 조직하는 통합 프레임워크다. Persistent Executable Generation(PEG)으로 프로그램과 작업 맥락을 유지하고, Traceable Generation Process(TGP)로 편집을 렌더링 결과에 연결하며, Revision-aware Editing and Verification(REV)으로 복원과 검증을 지원한다. 전체 요약 7문장 읽기 → 060 21:11 ▲ 20 · 댓글 1 동영상 생성 자동회귀 확산 모델의 캐시 재사용으로 1.7배 고속화 자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. AI · 머신러닝 · In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion
Key Point 프롬프트-기반 동영상 생성 서비스 개발 시 캐시 재사용과 양방향 조건부 생성으로 생성 속도를 높이는 구체적인 기술적 해법을 제시하므로, 장시간 영상 생성이 필요한 실무 개발자에게 실질적 개선 방안을 보여준다.
핵심 요약
자동회귀 비디오 확산 모델은 동영상을 시간 단위 청크로 나누어 여러 단계의 노이즈 제거를 거쳐 생성하는데, 이미 생성한 청크를 기억하기 위해 기존 방식들은 별도의 순전파를 통해 깨끗한 KV 캐시를 재구성해야 했다. FlashForward는 각 노이즈 제거 단계 중에 자동으로 생성되는 현재 청크의 KV 캐시를 다음 청크에서 직접 재사용해 캐시 업데이트 전용 순전파를 제거한다. 이 방식은 여러 GPU를 각 단계에 할당해 서로 다른 청크가 동시에 서로 다른 단계를 점유하도록 해 병렬 처리 효율을 높인다. 전체 요약 7문장 읽기 → 061 22:45 당일 +166 C++로 만든 이미지 생성 엔진, Flux·Qwen 등 최신 모델까지 지원 stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. AI · 머신러닝 · leejet/stable-diffusion.cpp · C++
Key Point 로컬 머신에서 최신 이미지·영상 생성 모델을 실행할 수 있는 경량 C++ 구현이 빠르게 성장하고 있으며, 모델 추가 속도가 빠르므로 개인 또는 온프레미스 AI 구축을 고려하는 개발자에게 선택지가 되고 있다.
핵심 요약
stable-diffusion.cpp는 GGML 기반의 순수 C/C++ 구현으로 Stable Diffusion, Flux, Wan, Qwen Image 등 다양한 이미지·영상 생성 모델을 추론할 수 있는 경량 프레임워크다. 외부 의존성이 없으며, 모델 무게 형식으로 PyTorch 체크포인트(.ckpt, .pth, .pt), Safetensors, GGUF를 지원하고 가중치를 .gguf나 .safetensors로 변환할 수 있다. CPU(AVX, AVX2, AVX512), CUDA, Vulkan, Metal, OpenCL, SYCL 백엔드를 지원하며 Linux, macOS, Windows, Android(Termux)에서 실행된다. 전체 요약 7문장 읽기 → 062 22:26 ▲ 110 · 댓글 80 Claude 3.5로 한 번의 실행으로 완성하는 동영상 생성 도구 Claude 3.5 Opus를 활용해 URL이나 프롬프트 입력만으로 편집 없이 MP4 동영상을 자동 생성하는 웹 도구 'Launch Video'를 선보였다. AI · 머신러닝 · Opus 5.5 is good at explainer videos
Key Point Claude 3.5 Opus의 실제 활용 사례를 통해 대규모 언어 모델이 단순 텍스트를 넘어 시각 콘텐츠 생성까지 어떻게 확장되는지, 그리고 실제 프로덕션 환경에서 작동하는 시스템 설계 방식을 볼 수 있습니다.
핵심 요약
Claude 3.5 Opus를 활용해 URL이나 프롬프트 입력만으로 편집 없이 MP4 동영상을 자동 생성하는 웹 도구 'Launch Video'를 선보였다. 웹 페이지 텍스트·제목·헤딩·색상·폰트 정보를 추출하고, 생성된 HTML을 확인해 오류와 화면 텍스트를 검증한 뒤 동영상으로 렌더링하는 세 개의 도구로 구성된다. OpenComputer의 서버리스 에이전트 위에서 작동하며, TypeScript로 정의된 단일 에이전트 파일과 세 개의 도구만으로 이루어져 있고 별도의 프레임워크나 큐, 자체 서버가 필요 없다. 전체 요약 11문장 읽기 → 063 22:29 당일 +681 ComfyUI, 노드 기반 멀티모달 AI 생성 엔진으로 거듭나다 ComfyUI는 그래프/노드 인터페이스 기반의 강력한 AI 생성 엔진으로, 이미지·비디오·3D·오디오·텍스트 생성을 한 플랫폼에서 지원한다. AI · 머신러닝 · Comfy-Org/ComfyUI · Python
Key Point 노드 기반 워크플로우로 최신 오픈소스 생성 모델들을 자유롭게 조합하되, 로컬 실행·API 통합·클라우드 지원을 한 도구에서 선택할 수 있어 전문가부터 초심자까지 콘텐츠 제작 자동화의 진입장벽을 낮춘다.
핵심 요약
ComfyUI는 그래프/노드 인터페이스 기반의 강력한 AI 생성 엔진으로, 이미지·비디오·3D·오디오·텍스트 생성을 한 플랫폼에서 지원한다. Stable Diffusion, SDXL, Flux.1/2, Qwen Image, Hunyuan Image, Ideogram 등 주요 이미지 모델과 LTX-Video, HunyuanVideo 같은 영상 생성, ACE-Step, Stable Audio 등 오디오 생성 모델을 기본 지원한다. Partner nodes를 통해 폐쇄형 모델(Nano Banana, Seedance, Hunyuan3D 등)에도 접근할 수 있으며, API 엔드포인트로 프로덕션 파이프라인에 통합 가능하다. 전체 요약 9문장 읽기 → 064 22:29 ▲ 39 · 댓글 2 자동회귀 영상 생성의 메모리 문제, 체계적 연구 프레임 제시 자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. AI · 머신러닝 · The Past Frames the Future: Memory for Autoregressive Video Generation
Key Point 자동회귀 영상 생성이 점점 길어지면서 메모리 부족으로 인한 시간적 일관성 붕괴 문제가 실질적 제약인데, 이를 체계화한 첫 종합 리뷰라 기술 개발 방향에 영향을 미칠 것으로 예상된다.
핵심 요약
자동회귀 모델로 긴 영상을 생성할 때 컨텍스트 윈도우, 저장 공간, 계산량의 제약으로 인해 물체 정체성이나 동적 상태 같은 중요한 역사 정보가 활성 컨텍스트를 벗어나는 근본적 병목이 발생한다. 이 논문은 자동회귀 영상 생성에서 메모리 메커니즘을 체계적으로 검토하는 첫 종합 연구다. 메모리를 '과거 단계의 정보가 현재 컨텍스트에서 접근 불가능해진 후에도 미래 생성에 영향을 미칠 수 있는 지속적 역사 정보'로 정의한다. 전체 요약 6문장 읽기 → 065 22:29 ▲ 24 · 댓글 2 영상 생성 AI의 보상 신호 불안정성, 기준 기반 평가로 해결 영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. AI · 머신러닝 · RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
Key Point 영상 생성 AI를 강화학습으로 최적화할 때 보상 신호의 불안정성은 학습 효율을 크게 떨어뜨리는데, 명시적 평가 기준을 도입하는 이 접근법이 문제 해결에 새로운 방향을 제시한다.
핵심 요약
영상 생성 모델 강화학습에서 핵심인 보상 모델이 복잡한 영상 품질을 단일 점수로 직접 변환하면서 점수 기준이 프롬프트마다 붕괴되거나 이동하는 '스칼라 드리프트' 문제가 발생한다. RewardVerse는 평가 기준을 동적으로 생성한 후 그에 맞춰 점수를 매기는 방식으로, 명시적 평가 기준을 중간 표현으로 삽입해 점수의 안정성을 높인다. 이를 효율적으로 최적화하기 위해 제안된 Rubric-Guided Policy Optimization(RGPO)는 자기진화 초기 기준으로 평가 모델을 먼저 준비한 후, 기준 생성기와 평가기를 함께 최적화하면서 인간 평가와 정렬하는 2단계 학습 알고리즘이다. 전체 요약 4문장 읽기 → 066 21:11 당일 +212 3000개 API를 한 토큰으로 쓰는 에이전트 도구 레지스트리 OpenRouter처럼 에이전트가 단 하나의 토큰으로 60개 이상 제공자의 3000여 개 API에 접근할 수 있는 레지스트리를 오픈소스로 공개했다. 오픈소스 · 도구 · superdesigndev/treg · Python
Key Point 에이전트 개발자가 수십 개 외부 API의 구독료와 인증을 일일이 관리하지 않고도 필요한 도구를 호출할 수 있게 되며, 기존에 구독한 서비스는 본인의 키로 무료로 쓸 수 있다.
핵심 요약
OpenRouter처럼 에이전트가 단 하나의 토큰으로 60개 이상 제공자의 3000여 개 API에 접근할 수 있는 레지스트리를 오픈소스로 공개했다. SEO·백링크, 소셜 트렌드, 인물·회사 데이터 보강, 광고, 스크래핑, 이미지·영상 생성 등 다양한 카테고리의 엔드포인트를 지원하며 호출당 1센트부터 과금된다. 팀 자체의 API 키, 스킬, CLI도 등록할 수 있으며 팀원들의 에이전트가 서버에서 인증을 처리하므로 크레덴셜이 외부로 노출되지 않는다. 전체 요약 5문장 읽기 → 067 16:18 ▲ 63 · 댓글 3 동영상 생성 AI, 에이전트 학습으로 정확도 19% 향상 비디오 생성 모델이 복잡한 프롬프트를 만족하지 못하는 문제를 해결하기 위해 VideoGen-Agent를 제시했다. AI · 머신러닝 · VideoGen-Agent: Reinforcing Video Generation Agents
Key Point 비디오 생성 AI가 에이전트 기반 강화학습으로 복잡한 요구사항을 만족하는 방식이 크게 개선되었으며, 추후 생성 도구 발전 시 자동으로 성능 향상을 얻을 수 있다는 점이 중요하다.
핵심 요약
비디오 생성 모델이 복잡한 프롬프트를 만족하지 못하는 문제를 해결하기 위해 VideoGen-Agent를 제시했다. 이 에이전트는 증강·생성·검증 도구를 멀티턴 상호작용으로 조율하며, 프롬프트와 중간 관찰 결과를 바탕으로 의사결정한다. 지도 학습과 강화학습을 거쳐 도구 사용 능력을 개선했고, 카테고리별 균형잡힌 보상으로 평가했다. 전체 요약 6문장 읽기 → 068 16:18 ▲ 32 · 댓글 2 영상 생성 모델 평가용 대규모 벤치마크 'OmniVBench' 공개 참조 영상 기반 비디오 생성(R2V)의 평가와 학습을 위한 'OmniVBench' 벤치마크와 34만 개 샘플의 Omni-R2V 데이터셋을 공개했다. AI · 머신러닝 · OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation
Key Point 참조 기반 영상 생성의 평가 기준과 학습 자료가 부족한 상황에서, 34만 개 규모의 산업 수준 데이터셋과 체계적 벤치마크를 제공해 R2V 모델 개발의 표준을 제시한다.
핵심 요약
참조 영상 기반 비디오 생성(R2V)의 평가와 학습을 위한 'OmniVBench' 벤치마크와 34만 개 샘플의 Omni-R2V 데이터셋을 공개했다. 콘텐츠, 모션, 스타일, 구조, 내러티브 등 7개 태스크 패밀리와 18개 세부 과제를 포함하며, 기존 벤치마크보다 다양한 참조 유형과 조합을 다룬다. 12,172개의 체크리스트 항목으로 구성된 '요소 기반 평가'를 도입해 참조 요소의 보존, 분리, 실현 여부를 세밀하게 검증한다. 전체 요약 5문장 읽기 → 069 16:56 당일 +139 AI가 영상의 핵심만 자동으로 잘라주는 오픈소스 도구 비디오 링크 하나를 입력하고 플랫폼을 선택하면 자동으로 쇼츠 형식의 영상을 생성하는 오픈소스 도구 AutoClip을 공개했다. AI · 머신러닝 · zhouxiaoka/autoclip · Python
Key Point 긴 영상에서 플랫폼별 숏폼 콘텐츠를 자동으로 만드는 도구로, 팟캐스트·인터뷰 크리에이터나 마케팅팀이 수작업 편집 시간을 대폭 줄일 수 있다.
핵심 요약
비디오 링크 하나를 입력하고 플랫폼을 선택하면 자동으로 쇼츠 형식의 영상을 생성하는 오픈소스 도구 AutoClip을 공개했다. 긴 영상에서 AI가 하이라이트 장면을 감지해 자동으로 자르고, 자막과 발행 문안까지 함께 만든다. 틱톡, 유튜브 쇼츠, 인스타그램 릴스, 더우인, 샤오훙수, B스탠, 유튜브 등 8개 플랫폼의 화면 비율과 길이 요구사항에 맞춰 최대 10개 영상을 자동 생성한다. 전체 요약 10문장 읽기 → 070 16:56 당일 +196 로컬 AI 단편극 제작 도구, 온전한 오프라인 워크플로우 오픈소스 AI 단편극 생성 도구로, 스토리 입력부터 동영상 완성까지 전체 워크플로우를 로컬 환경에서 처리한다. AI · 머신러닝 · xuanyustudio/LocalMiniDrama · JavaScript
Key Point 로컬 우선 방식으로 창작 데이터 유출 걱정 없이 오픈소스 도구로 AI 단편극 제작 전 과정을 직접 완성할 수 있어서다.
핵심 요약
오픈소스 AI 단편극 생성 도구로, 스토리 입력부터 동영상 완성까지 전체 워크플로우를 로컬 환경에서 처리한다. SQLite 데이터베이스와 로컬 파일 기반으로 모든 소재가 클라우드를 거치지 않으며, 구독료 없이 완전 오픈소스다. 대사 작성 → 캐릭터·장면 생성 → 분할 대본 작성 → 이미지·동영상 생성 → 최종 편집까지 8단계의 자동화된 제작 흐름을 지원한다. 전체 요약 8문장 읽기 → 071 21:11 당일 +387 React로 영상을 코드처럼 만드는 Remotion React 컴포넌트를 사용해 프로그래매틱하게 영상을 제작하고, 수동 편집이나 AI 에이전트로도 제작할 수 있다. 웹 · 프론트엔드 · remotion-dev/remotion · TypeScript
Key Point 코드 기반 영상 제작 도구로서 데이터 중심의 대량 영상 생성이나 복잡한 자동화 워크플로우가 필요한 개발팀과 에이전트 개발자에게 실제 선택지가 될 수 있는 기술이다.
핵심 요약
React 컴포넌트를 사용해 프로그래매틱하게 영상을 제작하고, 수동 편집이나 AI 에이전트로도 제작할 수 있다. 데이터 연결, 대량 렌더링, 디자인 시스템 구축 등 복잡한 영상 자동화 작업을 코드로 관리한다. Node.js, Lambda, Vercel 같은 다양한 환경에서 렌더링하거나 Player와 Editor로 애플리케이션을 빌드할 수 있다. 전체 요약 5문장 읽기 → 072 21:11 당일 +120 중국 음성 생성 모델 LongCat-Video, 장시간 영상 생성에 특화 미투안이 개발한 LongCat-Video는 137억 개 파라미터 기반 통합 영상 생성 모델이다. AI · 머신러닝 · meituan-longcat/LongCat-Video · Python
Key Point 기존 영상 생성 모델의 색감 저하·품질 감소 문제를 장시간 생성으로 해결하고, 음성 기반 인물 애니메이션까지 확장한 첫 번째 오픈소스 통합 모델이기 때문에 영상 생성 분야의 기술 진화를 보여준다.
핵심 요약
미투안이 개발한 LongCat-Video는 137억 개 파라미터 기반 통합 영상 생성 모델이다. 텍스트-투-비디오, 이미지-투-비디오, 비디오 연속 생성을 하나의 모델로 처리한다. 분단위 장시간 영상을 색감 저하나 품질 손실 없이 생성하며, 720p 30fps 영상을 분 단위로 생성할 수 있다. 전체 요약 6문장 읽기 → 073 21:11 당일 +635 AI가 영상 제작을 한다, 오픈몬타주 AI 에이전트가 대본 작성부터 편집, 렌더링까지 영상 제작 전 과정을 자동화하는 오픈소스 시스템 OpenMontage를 공개했다. AI · 머신러닝 · calesthio/OpenMontage · Python
Key Point 프로 수준의 영상 제작이 이제 AI 프롬프트 하나로 가능해진다는 점이 제작 산업의 지형을 바꿀 가능성을 보여준다.
핵심 요약
AI 에이전트가 대본 작성부터 편집, 렌더링까지 영상 제작 전 과정을 자동화하는 오픈소스 시스템 OpenMontage를 공개했다. 12개의 프로덕션 파이프라인과 100여 개 도구, 700여 개의 에이전트 스킬 파일을 제공한다. 단순 이미지 애니메이션이 아닌 실제 영상: 자유 스톡 영상과 오픈 아카이브에서 영상을 수집해 타임라인에 편집하고 렌더링한다. 전체 요약 5문장 읽기 → 074 11:10 당일 +181 Open-Sora 2.0, 11B 모델로 고급 영상 생성 완전 공개 Open-Sora는 효율적인 고품질 영상 생성을 모두에게 개방하는 프로젝트이며, 3월 12일 2.0 버전(11B)을 공개했다. AI · 머신러닝 · hpcaitech/Open-Sora · Python
Key Point 고비용 영상 생성 모델 개발을 오픈소스로 완전 공개하고 학습 비용을 대폭 절감한 방법을 공개했으므로, 누구나 이 기술에 접근할 수 있게 되었다.
핵심 요약
Open-Sora는 효율적인 고품질 영상 생성을 모두에게 개방하는 프로젝트이며, 3월 12일 2.0 버전(11B)을 공개했다. 2.0의 11B 모델은 HunyuanVideo의 11B 모델, Step-Video의 30B 모델과 동등한 수준의 성능을 VBench와 사용자 선호도 평가에서 보여준다. 학습 코드와 체크포인트까지 완전 공개하며, 2억 달러 이상의 높은 학습 비용을 200만 달러 수준으로 절감했다. 전체 요약 5문장 읽기 → 075 08:12 당일 +846 HTML로 동영상 렌더링 프레임워크 HyperFrames 공개 HyperFrames는 HTML, CSS, 미디어를 MP4 동영상으로 변환하는 오픈소스 프레임워크다. AI · 머신러닝 · heygen-com/hyperframes · TypeScript
Key Point AI 에이전트가 프로그래밍 없이 동영상 콘텐츠를 자동으로 생성할 수 있는 새로운 방식을 제시하며, 마케팅 자동화부터 콘텐츠 제작까지 범위가 넓다.
핵심 요약
HyperFrames는 HTML, CSS, 미디어를 MP4 동영상으로 변환하는 오픈소스 프레임워크다. CLI, AI 에이전트의 스킬, 또는 호스팅 저작 워크플로우의 렌더링 엔진으로 사용할 수 있다. 상품 출시 영상, 설명 동영상, PR 요약, 자막 추가, 모션 그래픽 등 20개의 도메인별 스킬을 제공한다. 전체 요약 5문장 읽기 →