쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
18건 · "비디오 이해"조건 지우기 ×
001 15:11 ▲ 23 · 댓글 3 게임 해석 AI, 낯선 게임도 실시간 해설 가능해졌다 비디오 LLM이 게임 실시간 해설을 하지만 학습한 게임에서만 해설이 정확하고, 본적 없는 게임에서는 타이밍은 맞춰도 게임 세계에 대한 지식을 전달하지 못한다. AI · 머신러닝 · StreamDuo: A Live Commentator and a Research Agent for Unseen Games
Key Point 게임 해설 AI가 새로운 게임에서도 정확히 해설할 수 있게 되면서, 스트리밍 커뮐니티에서 자동 해설 기술의 실용성이 크게 높아질 수 있다.
핵심 요약
비디오 LLM이 게임 실시간 해설을 하지만 학습한 게임에서만 해설이 정확하고, 본적 없는 게임에서는 타이밍은 맞춰도 게임 세계에 대한 지식을 전달하지 못한다. StreamDuo는 해설 전담 AI와 고정된 리서치 에이전트를 짝지었으며, 해설 AI가 모르는 것을 보면 현재 프레임을 리서치 에이전트에 보내고 게임 위키에서 찾은 정보를 2초 뒤에 받는다. 해설 AI만 한 게임(발더스 게이트 3)에서 두 단계로 학습했는데, 정보 이득 라벨로 답이 도움될 때만 질문하도록 학습하고, 이상적인 답을 본 자기 복사본과의 정책 기반 자기 증류로 노이즈가 있는 답도 활용할 수 있게 했다. 전체 요약 5문장 읽기 → 002 12:11 ▲ 10 · 댓글 4 영상 이해 AI, 불확실할 땐 질문하게 하기 멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. AI · 머신러닝 · AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
Key Point 스트리밍 비디오 분석 AI가 정보 부족 상황을 인식하고 능동적으로 질문하도록 훈련할 수 있는지가 새로운 기술 과제가 되고 있기 때문입니다.
핵심 요약
멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. 기존 주도적 상호작용 방식은 답변에 필요한 정보가 완전하다고 가정해 모델이 대기하거나 답하기만 하도록 설계됐으나, 실제로는 영상이나 사용자 질문의 불확실성으로 정보가 불완전한 경우가 많다. 불완전한 정보 상황에서 기존 방식은 모델이 영원히 대기하거나 환각적 응답을 생성하는 문제를 야기한다. 전체 요약 8문장 읽기 → 003 15:11 ▲ 53 · 댓글 2 자연언어 대신 코드로 영상 설명하기 영상 캡셔닝은 시각 정보를 간결한 설명으로 보존하는 작업인데, 자연언어로 미세한 공간 구조와 시간 역학을 정확히 표현하면 설명이 길어지고 모호해질 수 있다. AI · 머신러닝 · CodeCap-Bench: Can Code Serve as a Good Video Caption?
Key Point 자연언어 대신 코드로 영상을 설명하면 공간과 시간 정보를 더 정확하고 간결하게 나타낼 수 있음을 보여주는 새로운 벤치마크가 나왔고, 현재 AI 모델이 이 작업을 얼마나 잘 수행할 수 있는지 밝혔다.
핵심 요약
영상 캡셔닝은 시각 정보를 간결한 설명으로 보존하는 작업인데, 자연언어로 미세한 공간 구조와 시간 역학을 정확히 표현하면 설명이 길어지고 모호해질 수 있다. 논문은 실행 가능한 프로그램을 영상 설명으로 사용하는 새로운 패러다임을 제시한다. 그래픽 원시 요소와 시간 함수를 통해 시각 콘텐츠를 표현하는 방식이다. 코드 캡션과 자연언어 캡션을 질문 응답과 영상 재구성 작업으로 비교한 결과, 코드 캡션이 더 높은 추론 정확도와 재구성 충실도를 달성했다. 전체 요약 6문장 읽기 → 004 12:11 ▲ 253 · 댓글 2 비전-언어 모델의 능동형 상호작용, 사용자 의도 예측으로 진화 비전-언어 모델이 수동적 이해에서 능동적 상호작용으로 전환 중이나, 기존 방식은 명시적 요청에만 의존하고 사용자의 암묵적 의도(예: '다음에 어디를 클릭해야 할까')를 놓치며 상태를 실시간 업데이트하지 못하는 한계가 있다. AI · 머신러닝 · StreamVibe: Proactive Video Agents for Evolving User Intent
Key Point 비디오 에이전트가 사용자가 명시적으로 말하지 않은 의도까지 예측해 선제적으로 대응할 수 있게 되는 것은 웹 네비게이션, 콘텐츠 추천 등 실무 적용 영역이 크기 때문이다.
핵심 요약
비전-언어 모델이 수동적 이해에서 능동적 상호작용으로 전환 중이나, 기존 방식은 명시적 요청에만 의존하고 사용자의 암묵적 의도(예: '다음에 어디를 클릭해야 할까')를 놓치며 상태를 실시간 업데이트하지 못하는 한계가 있다. 이를 해결하기 위해 StreamVibe-Bench 벤치마크를 소개하는데, 명시적·암묵적·동적 의도를 포함한 4.1K 평가 샘플과 85K 학습 샘플을 포함한다. StreamVibe-VL은 연속 관찰에서 암묵적 의도를 추론하고 의도 변화에 따라 상호작용을 동적으로 조정하는 스트리밍 능동형 모델이다. 전체 요약 7문장 읽기 → 005 21:12 ▲ 298 · 댓글 2 비디오 기초 모델부터 세계 모델까지, 영상 이해와 생성의 통합 관점 비디오 기초 모델은 시각 시퀀스의 이해와 생성에 급속히 발전해온 반면, 비디오 세계 모델은 그 속 세계의 동역학을 포착하려 한다. AI · 머신러닝 · Reading, Writing, Sharing, and Interacting with the World through Video
Key Point 비디오 이해와 생성의 현주소를 통합적으로 정리한 메타 서베이로, 향후 연구의 방향성이 '보이는 것'에서 '일어나는 일'의 타당성으로 전환되고 있음을 보여준다.
핵심 요약
비디오 기초 모델은 시각 시퀀스의 이해와 생성에 급속히 발전해온 반면, 비디오 세계 모델은 그 속 세계의 동역학을 포착하려 한다. 이 논문은 세계 모델링을 통합 렌즈로 삼아 두 분야를 함께 조망한다. 관찰된 비디오를 잠재된 시간적 세계의 부분적·손실적·시간순 투영으로 보고, 네 가지 보완적 작업으로 문헌을 정리한다: reading은 비디오에서 세계 성질을 추론하고, writing은 지정되거나 학습된 세계 조건에서 비디오를 생성하며, sharing은 공통 모델링 메커니즘을 통해 이해와 생성을 통합하고, interacting은 행동과 진화하는 관찰 아래서 세계 상태를 예측하고 업데이트한다. 전체 요약 5문장 읽기 → 006 03:11 ▲ 19 · 댓글 2 동영상에서 객체 관계 변화를 추적하는 RTAformer 논문 공개 동영상 장면 그래프 생성(VidSGG)은 프레임 간 객체의 정체성 지속성과 관계의 급격한 변화를 동시에 포착해야 하는 과제를 다룬다. AI · 머신러닝 · RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation
Key Point 동영상에서 객체의 관계가 변하는 순간을 정확히 포착하는 것이 어려운 이유와 이를 해결하기 위한 구체적 기술 혁신을 담고 있어서다.
핵심 요약
동영상 장면 그래프 생성(VidSGG)은 프레임 간 객체의 정체성 지속성과 관계의 급격한 변화를 동시에 포착해야 하는 과제를 다룬다. 기존 방식은 시간 맥락을 활용하기 위해 프레임 간 정보를 통합하지만, 일관성을 강조하다 보니 관계 변화를 놓치는 '관계적 의미 관성(relational semantic inertia)' 문제가 발생한다. 연구팀이 제안한 RTAformer는 개체 지속성과 관계 변화를 따로 모델링하는 원스테이지 프레임워크다. 전체 요약 5문장 읽기 → 007 00:11 ▲ 18 · 댓글 2 장시간 비디오에서 사건 추론하는 새로운 과제 Event-STVG 제시 기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. AI · 머신러닝 · Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
Key Point 비디오 이해 AI의 현재 한계를 실제 벤치마크로 검증하며, 장시간 사건 추론이라는 새로운 요구에 맞춘 모델 개발 방향을 제시한다.
핵심 요약
기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. Event-STVG는 STVG를 단순 객체 검색에서 사건 수준의 추론으로 확장하는 새로운 과제로, 장시간 문맥 이해, 반복되는 사건 구분, 사건 위치 파악, 역할 추론, 다중 대상 그라운딩을 통합한다. 축구를 포함한 8개 도메인에서 총 4,016개의 사건 발생을 주석 처리한 대규모 벤치마크를 구축했다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 40 · 댓글 4 스트리밍 영상을 사람처럼 이해하는 AI 시스템 DeltaStreamer 스트리밍 영상 이해를 위해 인간의 관찰·기억·조사 방식에서 영감을 얻은 에이전트 프레임워크 DeltaStreamer를 제안한다. AI · 머신러닝 · DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
Key Point 스트리밍 영상에서 미래 질문에 대비해 필요한 증거를 체계적으로 보존하고 선택적으로 복구하는 새로운 접근법이 실제 성능 개선으로 입증되었다.
핵심 요약
스트리밍 영상 이해를 위해 인간의 관찰·기억·조사 방식에서 영감을 얻은 에이전트 프레임워크 DeltaStreamer를 제안한다. 스트리밍 영상 이해의 핵심 문제는 미래 쿼리가 어떤 정보를 요구할지 알기 전에 충분한 증거를 보존해야 한다는 것이다. 기존 방식들은 영상 히스토리 압축 과정에서 이벤트 전환을 불분명하게 만들고 관련 세부 정보를 생략하며, 손실된 시각적 증거를 복구할 수 없다. 전체 요약 8문장 읽기 → 009 15:11 ▲ 10 · 댓글 2 인간 영상만으로 로봇 학습 성능 68% 높여 World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. AI · 머신러닝 · Learning Transferable World-Action Models from Task-Paired Human Videos
Key Point 인간 영상만으로 로봇 모방 학습을 68% 향상시키는 기법이 제시되어, 비용이 큰 로봇-인간 쌍 데이터 수집을 건너뛸 수 있는 실질적 경로를 제공한다.
핵심 요약
World-action 모델은 영상 사전학습으로 시각·물리 사전지식을 얻지만, 표준 프레임 예측은 같은 영상 내 유사성에 의존해 장면과 신체 간 전이 학습이 어려운 문제가 있다. 연구팀이 WATCH라는 크로스 영상 사전학습을 제안했으며, 다양한 환경에서 수집한 작업 쌍의 인간 시연 영상으로 학습한다. 한 시연 영상과 행동을 조건으로 다른 시연 영상의 행동과 미래 프레임을 동시에 예측하도록 훈련해, 작업 관련 상호작용이 장면과 시연자를 넘어 전이되도록 유도한다. 전체 요약 6문장 읽기 → 010 18:11 ▲ 19 · 댓글 1 비디오 추론 모델의 증거 기반 검증 능력 강화 Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다. AI · 머신러닝 · Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence
Key Point 비디오 AI 모델이 단순히 답을 하는 것에서 벗어나 '왜 그렇게 생각하는지' 시간과 위치 정보로 검증할 수 있게 되면서, 신뢰성이 필요한 비디오 분석 응용에 실제 도입 가능성이 높아집니다.
핵심 요약
Open-o3-Video-v2는 비디오 추론 과정에서 타임스탬프와 객체 경계박스를 포함한 검증 가능한 증거를 생성하는 모델입니다. 기존 Open-o3-Video의 제한점을 극복하기 위해 부족한 정보를 식별하고 추가 관찰을 획득하는 에이전트 기반 접근 방식을 도입했습니다. 52K 다중 턴 에이전트 그라운딩 추론 궤적과 13K 강화학습 데이터셋(STGR-v2-CoT135K, STGR-v2-RL-13K)을 구성했습니다. 전체 요약 7문장 읽기 → 011 15:11 ▲ 199 · 댓글 1 비디오 이해와 상호작용 통합한 VideoJev 모델 Visual agent가 비디오에서 빠르게 의사결정하도록 System One 패러다임에 기반해 VideoJev를 제안했다. AI · 머신러닝 · VideoJev: System One Model for Video Understanding and Interaction
Key Point 에이전트가 비디오를 이해하고 상호작용하는 모든 작업을 하나의 통합 모델로 처리하면서 기존 MLLM 대비 속도는 최대 100배 이상 빨라지는 방식을 제시한다.
핵심 요약
Visual agent가 비디오에서 빠르게 의사결정하도록 System One 패러다임에 기반해 VideoJev를 제안했다. 기존 멀티모달 LLM의 자동회귀 디코딩을 대신해, 시간 구간과 텍스트 옵션을 비디오 증거에 대해 점수 매기는 공유 헤드로 교체했다. 이를 통해 시간 그라운딩과 다지선다형 비디오 질문 답변을 통합하면서 MLLM의 의미론적 유연성과 효율적 의사결정을 결합한다. 전체 요약 7문장 읽기 → 012 18:12 ▲ 14 · 댓글 2 비디오 AI가 스스로 관찰 방식을 개선한다 비디오 이해 에이전트는 현재의 '하네스(harness, 관찰 장치)'로 수집한 증거만으로는 실패 원인을 완전히 파악할 수 없다는 문제가 있다. AI · 머신러닝 · Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution
Key Point 비디오 AI가 실패를 분석해 자신의 관찰 방식을 반복적으로 개선하는 새로운 접근법이 제시되었으며, 정확도를 유지하면서 계산 비용을 절감할 수 있다는 점이 실무 적용에 중요하다.
핵심 요약
비디오 이해 에이전트는 현재의 '하네스(harness, 관찰 장치)'로 수집한 증거만으로는 실패 원인을 완전히 파악할 수 없다는 문제가 있다. Video-RSI라는 새로운 프레임워크를 제시하는데, 언어 모델 스스로가 자신의 하네스를 수정해서 비디오를 재조사한다. 에이전트는 원본 학습 영상에 돌아가 추가 관찰을 통해 여러 실패 가설을 검증하고, 기존 실행 흔적을 벗어난 증거로 개선안을 뒷받침한다. 전체 요약 8문장 읽기 → 013 18:30 ▲ 54 · 댓글 2 동영상 미래 사건 예측, 인과관계 추론으로 정확도 높인다 비디오 이벤트 예측(VEP) 문제를 해결하기 위해 VepAgent라는 에이전트 프레임워크를 제안했습니다. AI · 머신러닝 · VepAgent: Bridging Causal-Transition via Tool-Augmented Reinforcement Learning for Video Event Prediction
Key Point 동영상에서 아직 일어나지 않은 미래 사건을 예측하는 작업에서 단순 패턴 학습을 넘어 인과관계를 명시적으로 추론하는 새로운 접근이 핵심 기술로 제시되고 있습니다.
핵심 요약
비디오 이벤트 예측(VEP) 문제를 해결하기 위해 VepAgent라는 에이전트 프레임워크를 제안했습니다. 기존 멀티모달 대형언어모델(MLLM)은 과거에 의존한 요약에 머물러 관찰되지 않은 인과 관계를 연결하지 못한다는 문제를 지적합니다. VepAgent는 인과-전이 추론과 도구 기반 강화학습을 통합하여 마지막 관찰 상태에서 미래 사건까지의 논리적 진행을 명시적으로 모델링합니다. 전체 요약 7문장 읽기 → 014 18:33 ▲ 13 · 댓글 1 긴 비디오 이해하기, 해상도 낮추고 프레임 촘촘히 샘플링해야 한다 비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다. AI · 머신러닝 · Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency
Key Point 비디오 이해 모델의 효율성을 높이는 새로운 관점으로, 해상도와 프레임 샘플링의 트레이드오프를 재정의하며 실제 배포 환경의 디코딩 병목을 해결한다.
핵심 요약
비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다. 프론트엔드 디코딩 지연시간은 최종 토큰 수가 아니라 후보 풀의 크기에 의존하며, 1시간 길이의 비디오에서 프론트엔드 디코딩이 전체 처리 시간의 대부분을 차지한다. 해상도에 민감한 작업(예: 텍스트 인식)은 선택된 고해상도 프레임에서 이득을 얻으며, 일반적인 이해 작업은 저해상도 촘촘 샘플링으로 충분하다. 전체 요약 6문장 읽기 → 015 18:33 ▲ 22 · 댓글 2 오디오-비주얼 추론 벤치마크와 학습법 제시한 OmniReasoning 논문 최근 음성·시각·언어를 통합으로 이해하는 옴니모달 모델들이 발전했으나, 기존 벤치마크와 학습 방식은 각 모달리티를 독립적으로 다루며 오디오-비주얼 결합 추론 능력을 제대로 평가하지 못하는 문제를 지적했다. AI · 머신러닝 · OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
Key Point 오디오와 비주얼 정보를 함께 활용해야 하는 멀티모달 추론이 현실 문제 해결에 중요해지는 만큼, 이를 측정하는 기준과 학습 방식이 필요한 시점에 제시된 실질적인 해결책이다.
핵심 요약
최근 음성·시각·언어를 통합으로 이해하는 옴니모달 모델들이 발전했으나, 기존 벤치마크와 학습 방식은 각 모달리티를 독립적으로 다루며 오디오-비주얼 결합 추론 능력을 제대로 평가하지 못하는 문제를 지적했다. 이를 해결하기 위해 벤치마크, 데이터 생성 엔진, 학습 방법을 함께 제시했다. OmniReasoningBench는 오디오와 비주얼 증거가 모두 필수적인 1,150개 객관식·개방형 문제로 구성되며, 비디오 추론과 비디오 외 추론 두 가지 과제를 포함한다. 전체 요약 7문장 읽기 → 016 21:11 ▲ 165 · 댓글 2 실시간 스트리밍 비디오에서 인식·기억·응답을 통합하는 OneStreamer 스트리밍 비디오 LLM은 미래 작업의 중요성이 결정되기 전에 증거를 기억하고, 충분한 증거가 모였을 때 응답해야 한다. AI · 머신러닝 · OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
Key Point 스트리밍 비디오 이해 작업에서 실시간 처리와 장기 기억 사이의 균형을 새롭게 푸는 방식을 제시하며, 8개 벤치마크에서 우수한 성능을 입증한 대규모 데이터셋과 모델을 공개합니다.
핵심 요약
스트리밍 비디오 LLM은 미래 작업의 중요성이 결정되기 전에 증거를 기억하고, 충분한 증거가 모였을 때 응답해야 한다. OneStreamer는 쿼리-독립적 증거 기록과 작업 응답을 공동으로 학습하되, 공유된 능동형 생성 과정을 통해 이룬다. Proactive Hierarchical Caption Memory(PHCM)는 시간-정박된 세부 사항 캡션과 완료된 이벤트의 요약을 생성하며, 훈련 중 관찰된 비디오 시작 부분의 해석을 감독한다. 전체 요약 10문장 읽기 → 017 06:11 ▲ 23 · 댓글 2 멀티모달 AI의 계획 문제를 푼 증거 원장 기반 에이전트 비디오, 오디오, 웹페이지, 계산 결과 등 여러 모달리티의 증거를 조합해 질문에 답하는 옴니모달 에이전트는 대화 기록이 쌓이면서 노이즈가 증가하고 후속 결정이 방해받는 문제를 겪는다. AI · 머신러닝 · Omni-Decision: Evidence-Ledger Planning for Omni-Modal Agents
Key Point 멀티모달 에이전트의 계획 능력이 성능 제약의 핵심이며, 증거 원장 방식이 기존 대화 기반 접근법의 구체적인 해결책을 제시한다.
핵심 요약
비디오, 오디오, 웹페이지, 계산 결과 등 여러 모달리티의 증거를 조합해 질문에 답하는 옴니모달 에이전트는 대화 기록이 쌓이면서 노이즈가 증가하고 후속 결정이 방해받는 문제를 겪는다. 실험을 통해 성능 저하의 주요 원인이 지각(perception) 부분이 아니라 계획(planning) 부분임을 확인했다. Omni-Decision은 증거 원장(evidence ledger) 기반 계획 방식을 도입해, 누적된 대화 기록 대신 무엇이 확인됐는지, 무엇이 부족한지, 어디서 기록이 충돌하는지를 명시적으로 추적한다. 전체 요약 7문장 읽기 → 018 12:11 ▲ 72 · 댓글 1 장시간 영상의 객체 추적, 생애 기반 메모리로 풀다 수시간 또는 수일 길이의 영상에서 질문에 답하려면 같은 객체가 관여한 사건들을 시간 범위를 넘어 연결해야 한다. AI · 머신러닝 · Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
Key Point 장시간 영상에서 같은 객체가 여러 사건에 걸쳐 나타날 때 시각적 정체성을 추적하는 문제를 푸는 새로운 접근법이 공개되었으며, 이는 비디오 이해 AI의 실용성을 크게 높인다.
핵심 요약
수시간 또는 수일 길이의 영상에서 질문에 답하려면 같은 객체가 관여한 사건들을 시간 범위를 넘어 연결해야 한다. 기존 시간 기반 설명이나 텍스트 기반 개체는 물리적 정체성을 구분하지 못해, 같은 객체의 관찰이 사건들 사이에 연결되지 않는 문제가 있다. 연구팀은 Grounded Entity Biographies(GEB)라는 긴 영상 메모리 프레임워크를 제안했다. 전체 요약 8문장 읽기 →