쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 17일 (화)까지 4750건
17건 · "영상 이해"조건 지우기 ×
001 18:13 ▲ 89 · 댓글 1 스트리밍 영상 이해를 위한 턴 단위 강화학습 방법 TurnWise 제안 스트리밍 영상 이해는 모델이 반응할지 계속 관찰할지를 반복해서 결정해야 하는 문제이다. AI · 머신러닝 · Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
Key Point 스트리밍 데이터 처리에서 적절한 시점의 결정이 중요한 상황에서, 기존의 궤적 수준 학습의 한계를 턴 단위 신용 할당으로 극복하는 새로운 접근 방식을 제시한다.
핵심 요약
스트리밍 영상 이해는 모델이 반응할지 계속 관찰할지를 반복해서 결정해야 하는 문제이다. 기존의 Group Relative Policy Optimization(GRPO) 방식은 전체 궤적(trajectory) 수준의 장점만 공유하며, 이는 초기 성공 후 중복된 응답을 강화하고 초기 실패 후 유용한 후속 응답을 억제한다. TurnWise는 턴 단위 GRPO 프레임워크로, 각 스트리밍 결정마다 학습을 정렬하여 궤적 수준 피드백과 턴 수준 상호작용의 불일치를 해결한다. 전체 요약 6문장 읽기 → 002 18:11 ▲ 25 · 댓글 2 동영상을 선택적으로 관찰하는 AI 자막 생성 시스템 멀티모달 대규모 언어 모델(MLLM)이 영상 자막을 생성할 때 사소한 세부 사항을 과도하게 강조하고 핵심 맥락을 놓치는 문제가 있다. AI · 머신러닝 · Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
Key Point 멀티모달 AI가 영상 분석 시 모든 부분을 동등하게 처리하는 문제를 선택적 관찰로 해결하는 새로운 접근이 보여 이후 자막 생성, 영상 이해 시스템 설계에 참고할 만하다.
핵심 요약
멀티모달 대규모 언어 모델(MLLM)이 영상 자막을 생성할 때 사소한 세부 사항을 과도하게 강조하고 핵심 맥락을 놓치는 문제가 있다. Reviso는 관찰 대상과 수집 방식을 학습하는 에이전트형 동영상 자막 시스템으로, 낮은 프레임율의 전체 미리보기에서 계층적 Context-Focus-Points(CFP) 계획을 세운다. CFP 계획은 영상 맥락을 파악하고 핵심 요소를 우선순위화한 뒤 구체적인 관찰 대상과 해당 도구를 정의한다. 전체 요약 8문장 읽기 → 003 12:11 ▲ 10 · 댓글 4 영상 이해 AI, 불확실할 땐 질문하게 하기 멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. AI · 머신러닝 · AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
Key Point 스트리밍 비디오 분석 AI가 정보 부족 상황을 인식하고 능동적으로 질문하도록 훈련할 수 있는지가 새로운 기술 과제가 되고 있기 때문입니다.
핵심 요약
멀티모달 대형언어모델의 발전으로 영상 이해 상호작용 방식이 오프라인에서 스트리밍, 주도적 상호작용으로 진화했고, 모델이 능동적으로 답할지 말지 결정하는 단계에 이르렀다. 기존 주도적 상호작용 방식은 답변에 필요한 정보가 완전하다고 가정해 모델이 대기하거나 답하기만 하도록 설계됐으나, 실제로는 영상이나 사용자 질문의 불확실성으로 정보가 불완전한 경우가 많다. 불완전한 정보 상황에서 기존 방식은 모델이 영원히 대기하거나 환각적 응답을 생성하는 문제를 야기한다. 전체 요약 8문장 읽기 → 004 09:11 ▲ 10 · 댓글 2 멀티모달 AI, 이미지·영상에서 위치 지정과 설명을 동시에 학습하다 이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. AI · 머신러닝 · Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
Key Point 기존의 분리된 학습 방식에서 벗어나 이미지와 영상의 위치 정렬과 설명을 통합으로 개선하는 새로운 강화학습 접근법이 제시되었으며, 실제 성능 향상으로 검증되었다.
핵심 요약
이미지와 영상의 특정 영역을 이해하고 언어로 정확히 찾아내는 미세한 멀티모달 이해 능력이 필요하며, 기존 방식은 두 작업을 따로 학습했다. CycleGRPO라는 강화학습 프레임워크를 제시하는데, 한 번에 두 방향(영역→설명, 설명→영역)을 배우는 순환 구조로 작동한다. 모델이 영역에 대한 후보 설명을 생성하고, 각 설명을 역으로 정렬해 원래 영역을 재구성한 뒤, 재구성 겹침을 보상으로 사용한다. 전체 요약 9문장 읽기 → 005 21:12 ▲ 298 · 댓글 2 비디오 기초 모델부터 세계 모델까지, 영상 이해와 생성의 통합 관점 비디오 기초 모델은 시각 시퀀스의 이해와 생성에 급속히 발전해온 반면, 비디오 세계 모델은 그 속 세계의 동역학을 포착하려 한다. AI · 머신러닝 · Reading, Writing, Sharing, and Interacting with the World through Video
Key Point 비디오 이해와 생성의 현주소를 통합적으로 정리한 메타 서베이로, 향후 연구의 방향성이 '보이는 것'에서 '일어나는 일'의 타당성으로 전환되고 있음을 보여준다.
핵심 요약
비디오 기초 모델은 시각 시퀀스의 이해와 생성에 급속히 발전해온 반면, 비디오 세계 모델은 그 속 세계의 동역학을 포착하려 한다. 이 논문은 세계 모델링을 통합 렌즈로 삼아 두 분야를 함께 조망한다. 관찰된 비디오를 잠재된 시간적 세계의 부분적·손실적·시간순 투영으로 보고, 네 가지 보완적 작업으로 문헌을 정리한다: reading은 비디오에서 세계 성질을 추론하고, writing은 지정되거나 학습된 세계 조건에서 비디오를 생성하며, sharing은 공통 모델링 메커니즘을 통해 이해와 생성을 통합하고, interacting은 행동과 진화하는 관찰 아래서 세계 상태를 예측하고 업데이트한다. 전체 요약 5문장 읽기 → 006 15:11 ▲ 40 · 댓글 4 스트리밍 영상을 사람처럼 이해하는 AI 시스템 DeltaStreamer 스트리밍 영상 이해를 위해 인간의 관찰·기억·조사 방식에서 영감을 얻은 에이전트 프레임워크 DeltaStreamer를 제안한다. AI · 머신러닝 · DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
Key Point 스트리밍 영상에서 미래 질문에 대비해 필요한 증거를 체계적으로 보존하고 선택적으로 복구하는 새로운 접근법이 실제 성능 개선으로 입증되었다.
핵심 요약
스트리밍 영상 이해를 위해 인간의 관찰·기억·조사 방식에서 영감을 얻은 에이전트 프레임워크 DeltaStreamer를 제안한다. 스트리밍 영상 이해의 핵심 문제는 미래 쿼리가 어떤 정보를 요구할지 알기 전에 충분한 증거를 보존해야 한다는 것이다. 기존 방식들은 영상 히스토리 압축 과정에서 이벤트 전환을 불분명하게 만들고 관련 세부 정보를 생략하며, 손실된 시각적 증거를 복구할 수 없다. 전체 요약 8문장 읽기 → 007 12:11 ▲ 578 · 댓글 4 동영상 이해 AI의 종합 평가 기준 'OmniCompass' 공개 멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. AI · 머신러닝 · OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
Key Point 오픈소스 MLLM과 상용 모델 간의 격차를 정량적으로 드러내고, 음성-시각 이해라는 미흡한 영역을 구체적으로 지목하는 실제 평가 결과를 제시한다.
핵심 요약
멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. VL 트랙(시각 정보 기반)과 AV 트랙(음성-시각 결합)의 두 평가 경로로 구성되며, 각각 시간 정위(TG), 공간 정위(SG), 질의응답(QA) 세 가지 과제를 포함한다. VL 트랙은 5가지 지각·3가지 추론 범주를 다루고, AV 트랙은 3가지 지각·2가지 추론 범주를 다룬다. 전체 요약 7문장 읽기 → 008 00:11 ▲ 13 · 댓글 2 긴 영상도 고정 메모리로 처리하는 프레임 압축 기법 비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다. AI · 머신러닝 · Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
Key Point 장영상 이해가 VLM의 메모리 병목이 되는 시점에 학습 없이 적용 가능한 고정 메모리 솔루션이 나왔고, 기존 모델 대비 10% 이상 성능 향상을 보였다.
핵심 요약
비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다. 기존의 토큰 감소나 핵심 프레임 선택 방식도 O(n) 증가 추세를 해결하지 못한다. FramePack-U는 학습 없이 임의로 긴 영상을 고정 크기의 시각 표현으로 압축하는 훈련-자유 프레임 패킹 프레임워크다. 전체 요약 9문장 읽기 → 009 18:12 ▲ 14 · 댓글 2 멀티모달 AI가 데이터 영상을 읽지 못한다 Data video는 데이터 시각화와 비디오 내러티브를 결합한 미디어로, 뉴스 보도와 비즈니스 분석에 널리 사용되지만 일반 영상과 달리 애니메이션 차트 정확 읽기, 시간별 증거 통합, 내러티브와 시각 디자인의 정보 전달 방식 이해가 필수다. AI · 머신러닝 · DataVista: Diagnosing Multimodal LLMs on Data Video Understanding
Key Point 멀티모달 AI의 실제 적용 영역인 데이터 영상 이해 능력의 한계를 정량적으로 보여주며, 현재 모델들이 복합 정보 통합과 맥락 이해에서 근본적 약점을 갖고 있음을 드러낸다.
핵심 요약
Data video는 데이터 시각화와 비디오 내러티브를 결합한 미디어로, 뉴스 보도와 비즈니스 분석에 널리 사용되지만 일반 영상과 달리 애니메이션 차트 정확 읽기, 시간별 증거 통합, 내러티브와 시각 디자인의 정보 전달 방식 이해가 필수다. 기존 벤치마크는 일반 영상이나 정적 차트를 대상으로 하며 데이터 영상 이해는 체계적으로 평가되지 않았다. 연구팀은 961개 실제 데이터 영상과 6,775개 평가 문제로 구성된 DataVista 벤치마크를 발표했으며, 데이터 인지·시간 추론·내러티브 이해의 3단계 능력 체계 아래 10가지 세분화된 질문 유형을 포함한다. 전체 요약 7문장 읽기 → 010 18:33 ▲ 13 · 댓글 1 긴 비디오 이해하기, 해상도 낮추고 프레임 촘촘히 샘플링해야 한다 비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다. AI · 머신러닝 · Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency
Key Point 비디오 이해 모델의 효율성을 높이는 새로운 관점으로, 해상도와 프레임 샘플링의 트레이드오프를 재정의하며 실제 배포 환경의 디코딩 병목을 해결한다.
핵심 요약
비전-언어 모델(VLM)에서 긴 비디오 이해 시 기존 방식은 고정된 고해상도에서 정보 있는 프레임만 선택했으나, 해상도를 낮추고 더 촘촘하게 샘플링하는 것이 토큰 예산을 맞췄을 때 더 나은 성능을 낸다. 프론트엔드 디코딩 지연시간은 최종 토큰 수가 아니라 후보 풀의 크기에 의존하며, 1시간 길이의 비디오에서 프론트엔드 디코딩이 전체 처리 시간의 대부분을 차지한다. 해상도에 민감한 작업(예: 텍스트 인식)은 선택된 고해상도 프레임에서 이득을 얻으며, 일반적인 이해 작업은 저해상도 촘촘 샘플링으로 충분하다. 전체 요약 6문장 읽기 → 011 18:35 ▲ 11 · 댓글 2 긴 영상 이해하는 비전-언어 모델, 메모리 효율을 10%로 줄이다 비전-언어 모델이 긴 영상과 연속 스트림을 이해할 때, 영상이 길어질수록 시각 토큰이 누적되어 추론 비용이 급증한다. AI · 머신러닝 · KeyRec: Bounded Visual Memory for Streaming and Long-Video Understanding
Key Point 비전-언어 모델의 장시간 영상 처리 비용을 10%로 줄이면서 성능을 유지하는 방식으로, 실시간 스트리밍과 긴 영상 분석 작업의 실용성을 크게 높인다.
핵심 요약
비전-언어 모델이 긴 영상과 연속 스트림을 이해할 때, 영상이 길어질수록 시각 토큰이 누적되어 추론 비용이 급증한다. 기존의 훈련 없는 토큰 선택 방식은 정보성 있는 토큰만 남기지만, 사건의 일관된 증거를 잃고 최근 세부 관찰과 장기 히스토리를 구분하지 못한다. KeyRec은 제한된 시각 메모리를 구성하는 훈련 없는 프레임워크로, 최근 관찰은 시각 캐시에 세밀하게 보존하고 과거 증거는 구조화된 사건 은행으로 조직한다. 전체 요약 8문장 읽기 → 012 00:11 ▲ 14 · 댓글 1 이미지·영상 이해와 생성을 한 번에, 픽셀 기반 통합 모델 등장 기존 통합 멀티모달 모델들은 이해와 생성을 위해 서로 다른 시각 표현을 사용해 시각 컨텍스트 길이를 늘리고 복잡도를 높여왔다. AI · 머신러닝 · PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation
Key Point 인코더를 제거하고 픽셀 공간에서 직접 작동하는 통합 접근법은 시각-언어 파이프라인의 복잡도를 낮추면서도 이미지·영상 작업을 한 모델으로 처리하는 새로운 패러다임을 보여준다.
핵심 요약
기존 통합 멀티모달 모델들은 이해와 생성을 위해 서로 다른 시각 표현을 사용해 시각 컨텍스트 길이를 늘리고 복잡도를 높여왔다. PixelUMM은 인코더 없이 픽셀 공간에서 이미지와 영상의 이해·생성을 통합하는 모델이다. 이미지를 공간 패치로, 영상을 시공간 튜블릿으로 표현해 원본 픽셀을 공유 백본에 단층 선형 투영으로 연결한다. 전체 요약 6문장 읽기 → 013 06:11 ▲ 11 · 댓글 2 긴 영상 분석 AI의 기억력 문제를 푸는 'VideoLoop' 멀티모달 AI 에이전트가 긴 영상을 이해하려면 여러 추론 단계에서 증거를 반복 수집해야 하는데, 기존 방식은 '의미적 스래싱' 현상을 겪는다. AI · 머신러닝 · VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents
Key Point 긴 영상을 분석하는 AI 에이전트가 정보를 제대로 기억하지 못하는 근본적 문제와 그 해결책을 제시하는 논문으로, 실제 벤치마크에서 10%대의 정확도 차이를 만든다.
핵심 요약
멀티모달 AI 에이전트가 긴 영상을 이해하려면 여러 추론 단계에서 증거를 반복 수집해야 하는데, 기존 방식은 '의미적 스래싱' 현상을 겪는다. '의미적 스래싱'은 작업 메모리가 계속 늘어나면서 핵심 증거에 대한 주의가 흐릿해지고 이미 찾은 정보에 접근할 수 없는 문제다. 연구팀은 추가 전용 메모리가 새로운 대상 증거는 통합할 수 있지만, 누적된 잡음을 제거하거나 컨텍스트 증가를 막으려면 메모리를 재작성하는 기능이 필수임을 수학적으로 보였다. 전체 요약 7문장 읽기 → 014 06:11 ▲ 483 · 댓글 259 구글, 최신 AI 모델 '제미나이 4 아르곤' 발표 구글이 새로운 프론티어 모델 '제미나이 4 아르곤'을 발표했으며, 먼저 신뢰할 수 있는 사이버 방어자들을 대상으로 페어윈드 프로그램을 통해 공개한다. AI · 머신러닝 · Gemini 4 Argon
Key Point 구글의 새로운 프론티어 모델이 기존 모델 대비 성능 향상, 크게 확대된 토큰 한도, 사이버보안 방어의 특화 능력을 갖춤으로써 개발자와 보안 담당자의 업무 방식을 바꿀 수 있기 때문이다.
핵심 요약
구글이 새로운 프론티어 모델 '제미나이 4 아르곤'을 발표했으며, 먼저 신뢰할 수 있는 사이버 방어자들을 대상으로 페어윈드 프로그램을 통해 공개한다. 아르곤은 입력 토큰당 200만 개당 2달러, 출력 토큰당 1000만 개당 10달러의 도입 가격으로 책정되었으며, 캐시된 입력 토큰은 입력 가격의 95% 할인을 받는다. 출력 토큰 한도를 기존 64K에서 업계 최고 수준인 100만 토큰으로 대폭 확대해 더 깊이 있는 사고를 지원한다. 전체 요약 11문장 읽기 → 015 21:11 ▲ 65 · 댓글 1 LLM이 진정한 비동기 에이전트로 거듭난다 현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. AI · 머신러닝 · LLMs are General Asynchronous Agents
Key Point LLM을 단순 음성 인식기나 로봇 제어기로만 쓰던 시대에서 벗어나, 진정으로 동시다중 작업을 처리하는 에이전트로 만드는 기술이 등장했다는 뜻이다. 이는 실시간 응답과 백그라운드 작업을 함께 해야 하는 음성 어시스턴트, 자율 로봇, 모니터링 시스템 등의 실용성을 크게 높일 수 있다.
핵심 요약
현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. 실제 응용(음성 어시스턴트, 로봇 제어, 모니터링)은 비순차적이다. 에이전트가 생각하거나 작업을 수행하는 도중 새로운 입력이 들어온다. 현재는 음성·영상 처리, 로봇 제어(VLA), 비동기 도구 호출 등 용도별로 서로 다른 아키텍처를 구축해야 한다. 전체 요약 5문장 읽기 → 016 21:11 ▲ 35 · 댓글 3 실시간 영상 AI가 사람처럼 기억할 수 있나 스트리밍 영상을 처리하는 AI 모델이 실제로 필요한 것은 세션 간 기억을 유지하는 능력인데, 기존 벤치마크는 연속 영상이나 짧은 클립만 다뤘다. AI · 머신러닝 · APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants
Key Point 현실의 개인 비서 AI는 대화가 끊겼다가 다시 시작할 때도 과거 맥락을 기억해야 하는데, 이를 평가하는 첫 벤치마크가 나왔다.
핵심 요약
스트리밍 영상을 처리하는 AI 모델이 실제로 필요한 것은 세션 간 기억을 유지하는 능력인데, 기존 벤치마크는 연속 영상이나 짧은 클립만 다뤘다. APM-Bench는 549개 세션, 104개 궤적, 2,719개 질문으로 구성되며, 각 세션은 세밀한 주석이 달린 영상이고 같은 궤적 내 세션들은 관련 활동을 중심으로 구성된다. 모델은 지속성 메모리를 사용해 이전 세션에 대한 질문에 답변하고, 실시간 상호작용을 유지하면서 사전 대응 응답을 제공해야 한다. 전체 요약 8문장 읽기 → 017 03:11 ▲ 28 · 댓글 1 흉부 X선 분석을 위한 문장 중심 비전-언어 모델 SentZero 흉부 X선(CXR) 이미지와 방사선 리포트를 사용한 비전-언어 사전학습이 의료 영상 이해에 유망하지만, 기존 방법들은 긴 임상 리포트를 간단한 제로샷 프롬프트로 정렬하기 어려워 작업별 미세조정에 의존한다. AI · 머신러닝 · SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Key Point 방사선학 텍스트의 특성을 고려한 새로운 문장 수준 설계와 거짓 음성 완화 기법이 흉부 X선의 미세조정 없는 분석 성능을 크게 향상시킨다.
핵심 요약
흉부 X선(CXR) 이미지와 방사선 리포트를 사용한 비전-언어 사전학습이 의료 영상 이해에 유망하지만, 기존 방법들은 긴 임상 리포트를 간단한 제로샷 프롬프트로 정렬하기 어려워 작업별 미세조정에 의존한다. 최근 문장 수준 접근법이 LLM으로 추출한 임상 구문을 사용해 이를 부분적으로 개선했으나, 방사선학 텍스트의 내재적 특성을 간과하고 양성 쌍의 다양성이 제한되어 있다. 임상적으로 동등한 문장이 환자 간에 반복되면서 대조 학습에서 거짓 음성이 발생하는 문제가 있다. 전체 요약 6문장 읽기 →