쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 22일 (일)까지5067건
7건 · "비디오 AI"조건 지우기 ×
001▲ 11 · 댓글 2실시간으로 작업 실수를 감지하는 비디오 AI 모델영상 속 사람의 절차적 작업을 모니터링할 때 실수를 실시간으로 감지해 복구할 기회를 주는 AI 모델을 연구했다.AI · 머신러닝 · Online Mistake Detection in Instruction-Conditioned Procedural Video

Key Point실시간 작업 모니터링 AI가 필요한 산업(제조, 의료 절차 교육, 로봇 보조)에서 실제 적용 가능성을 높인 연구로, 기존 오프라인 방식의 한계를 온라인 감지로 극복했다.
핵심 요약
- 영상 속 사람의 절차적 작업을 모니터링할 때 실수를 실시간으로 감지해 복구할 기회를 주는 AI 모델을 연구했다.
- 일인칭 비디오, 작업 지시문, 이전 예측 정보만으로 현재 진행 중인 행동 단계를 파악하고 시간상 위치를 특정한다.
- 각 행동 시도를 올바름, 수정, 실수(slip), 정정, 추가 행동 등으로 분류하며, 생략된 단계는 비디오 끝난 후에 판정한다.
전체 요약 8문장 읽기 → 002▲ 40 · 댓글 4스트리밍 비디오 LLM을 사용자와 상호작용하게 만들다기존 스트리밍 비디오 LLM은 세계를 지속적으로 관찰하지만 사용자 요청을 고립되게 처리하는 한계가 있다.AI · 머신러닝 · ALIVE: Making Streaming Video Models Interactive

Key Point실시간 비디오 AI가 사용자와 양방향으로 상호작용하며 질문하고 조정할 수 있게 되면, 감시·모니터링·실시간 지원 같은 응용 분야의 자율성이 크게 높아진다.
핵심 요약
- 기존 스트리밍 비디오 LLM은 세계를 지속적으로 관찰하지만 사용자 요청을 고립되게 처리하는 한계가 있다.
- ALIVE는 능동적 모니터링, 스트리밍 작업 조율, 피드백 추구 상호작용을 지원하는 대화형 스트리밍 비디오 모델이다.
- ALIVE-SFT-288K와 ALIVE-RL-3K 두 가지 데이터셋을 구성해 2단계 학습을 진행했다.
전체 요약 6문장 읽기 → 003▲ 15 · 댓글 2장시간 비디오 생성 안정성 높이는 MovieRoll 프레임워크스트리밍 비디오 생성 중 훈련 범위를 초과한 품질 유지와 캐시 비용 증가 문제를 해결하기 위해 MovieRoll이라는 기저-증류 프레임워크를 제시한다.AI · 머신러닝 · MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

Key Point장시간 비디오 생성에서 품질 저하와 메모리 오버헤드 문제를 해결하는 체계적 접근법이 제시되어, 비디오 AI 모델 개발의 실질적 한계를 극복하는 기술로 주목된다.
핵심 요약
- 스트리밍 비디오 생성 중 훈련 범위를 초과한 품질 유지와 캐시 비용 증가 문제를 해결하기 위해 MovieRoll이라는 기저-증류 프레임워크를 제시한다.
- Window-wise Teacher Forcing(WinTF)을 통해 각 윈도우 내 양방향 주의와 이전 이력에 대한 인과 접근을 결합한 견고한 다단계 기저 모델을 구축한다.
- 계층별 주의 패턴을 활용한 계층화 KV 캐시 압축(HieraKV)으로 캐시 메모리를 최대 78% 감소시키면서 생성 품질을 개선한다.
전체 요약 6문장 읽기 → 004▲ 26 · 댓글 1비디오 세계 모델의 예측 오차, 물리적 놀라움을 재대로 측정하지 못한다비디오 생성 AI의 예측 오차는 물리적으로 불가능한 사건을 감지하는 지표로 사용되지만, 실제로는 물체 색상·모양 변화나 일반적인 예측 어려움도 함께 반영된다.AI · 머신러닝 · When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?

Key Point비디오 AI가 물리 법칙을 이해한다고 판단하는 기준(예측 오차)이 실제로는 색상·모양 변화에도 반응해 신뢰성이 낮다는 점을 밝혀, 세계 모델 평가 방식의 재검토가 필요함을 보여준다.
핵심 요약
- 비디오 생성 AI의 예측 오차는 물리적으로 불가능한 사건을 감지하는 지표로 사용되지만, 실제로는 물체 색상·모양 변화나 일반적인 예측 어려움도 함께 반영된다.
- 연구팀은 고정된 표현이 무엇을 담고 있는지, 물리적 변화와 겉모습 변화를 어떻게 구별하는지, 모델의 예측 오차를 무엇이 변화시키는지 분리해 평가하는 프레임워크를 개발했다.
- IntPhys2 벤치마크에서 V-JEPA2 모델을 포함한 여러 표현(잠재 예측, 마스킹된 픽셀 재구성, 시각 통계)을 비교한 결과, 물리적 가능성·불가능성에 대한 정보는 적게 포함했다.
전체 요약 8문장 읽기 → 005▲ 19 · 댓글 1비디오 추론 모델의 증거 기반 검증 능력 강화Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다.AI · 머신러닝 · Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence

Key Point비디오 AI 모델이 단순히 답을 하는 것에서 벗어나 '왜 그렇게 생각하는지' 시간과 위치 정보로 검증할 수 있게 되면서, 신뢰성이 필요한 비디오 분석 응용에 실제 도입 가능성이 높아집니다.
핵심 요약
- Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다.
- 기존 Open-o3-Video의 제한점을 극복하기 위해 부족한 정보를 식별하고 추가 관찰을 획득하는 에이전트 기반 접근 방식을 도입했습니다.
- 52K 다중 턴 에이전트 그라운딩 추론 궤적과 13K 강화학습 데이터셋(STGR-v2-CoT135K, STGR-v2-RL-13K)을 구성했습니다.
전체 요약 7문장 읽기 → 006▲ 14 · 댓글 2비디오 AI가 스스로 관찰 방식을 개선한다비디오 이해 에이전트는 현재의 '하네스(harness, 관찰 장치)'로 수집한 증거만으로는 실패 원인을 완전히 파악할 수 없다는 문제가 있다.AI · 머신러닝 · Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution

Key Point비디오 AI가 실패를 분석해 자신의 관찰 방식을 반복적으로 개선하는 새로운 접근법이 제시되었으며, 정확도를 유지하면서 계산 비용을 절감할 수 있다는 점이 실무 적용에 중요하다.
핵심 요약
- 비디오 이해 에이전트는 현재의 '하네스(harness, 관찰 장치)'로 수집한 증거만으로는 실패 원인을 완전히 파악할 수 없다는 문제가 있다.
- Video-RSI라는 새로운 프레임워크를 제시하는데, 언어 모델 스스로가 자신의 하네스를 수정해서 비디오를 재조사한다.
- 에이전트는 원본 학습 영상에 돌아가 추가 관찰을 통해 여러 실패 가설을 검증하고, 기존 실행 흔적을 벗어난 증거로 개선안을 뒷받침한다.
전체 요약 8문장 읽기 → 007▲ 39 · 댓글 2음성·음악 분리와 생성을 한 번에, 오디오-비디오 AI 모델 SepGen음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다.AI · 머신러닝 · SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model

Key Point비디오에서 개별 음원을 자동 분리·생성할 수 있게 되면 3D 음성화(audio spatialization)나 음향 편집 등 실제 영상 제작 워크플로우가 단순해질 수 있으며, 기존 단순 음성 분리 모델을 능가하는 성능을 보인다.
핵심 요약
- 음성-영상 생성 모델을 확장하여 비디오, 혼합 사운드트랙, 각 음원별 개별 스템을 한 번의 샘플링으로 출력하는 SepGen을 제시한다.
- 생성 모드에서는 각 음원 캡션이 해당 스템의 내용을 지정하며, 예를 들어 두 명의 대사는 각 화자마다 하나의 스템으로 원래 순서대로 분리된다.
- 분리 모드에서는 입력 오디오 혼합을 유지하면서 캡션으로 추출할 내용을 지정하여, 자유형식 설명으로부터 녹음을 분해할 수 있다.
전체 요약 6문장 읽기 →