쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
18건 · "시각 이해"조건 지우기 ×
001 12:11 ▲ 16 · 댓글 5 멀티모달 비전 인코더의 세 가지 선택지를 분해하다 멀티모달 언어 모델의 비전 인코더 설계 방식을 통제된 환경에서 비교했다. 기존 모델들은 사전 학습된 인코더, 처음부터 학습된 인코더, 또는 인코더 없는 방식을 각각 사용하는데, 서로 다른 데이터·구조·계산량으로 인해 각 선택의 영향을 정확히 평가하기 어려웠다. AI · 머신러닝 · Unbundling Multimodal Vision Encoding
Key Point 멀티모달 모델에서 비전 처리 방식의 세 가지 핵심 선택지(사전 학습 여부, 용량 크기, 융합 위치)를 통제된 비교를 통해 각각의 영향을 명확히 규명해 향후 모델 설계에 실질적인 지표를 제시한다.
핵심 요약
멀티모달 언어 모델의 비전 인코더 설계 방식을 통제된 환경에서 비교했다. 기존 모델들은 사전 학습된 인코더, 처음부터 학습된 인코더, 또는 인코더 없는 방식을 각각 사용하는데, 서로 다른 데이터·구조·계산량으로 인해 각 선택의 영향을 정확히 평가하기 어려웠다. 연구팀은 모든 모델을 동일한 데이터로 처음부터 학습하고 같은 계산량에서 VQA(시각 질답)와 언어 벤치마크로 비교했다. 사전 학습된 비전 사전 지식은 필수가 아니며, 처음부터 함께 학습한 인코더가 별도 학습 단계 없이 사전 학습된 것과 같은 수준이다. 전체 요약 7문장 읽기 → 002 21:11 ▲ 13 · 댓글 3 하이브리드 어텐션으로 텍스트-이미지 동시 이해·생성하는 유니스파크 UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다. AI · 머신러닝 · UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
Key Point 텍스트 생성과 이미지 생성을 동시에 처리하는 통합 모델의 새로운 아키텍처 접근법으로, 다양한 멀티모달 작업에서 하이브리드 어텐션의 효과를 검증한다.
핵심 요약
UniSpark-9B는 시각 이해와 생성을 위해 하이브리드 어텐션을 조사하는 통합 멀티모달 모델이다. 각 브랜치에 약 9B 파라미터를 가진 Mixture-of-Transformer-Experts 백본을 기반으로 하며, 명시적 토큰 상호작용을 위한 전체 어텐션과 컨텍스트 전파를 위한 GatedDeltaNet 선형 어텐션을 결합한다. 자동회귀 텍스트 예측과 시각 흐름 매칭이 시각 질문 응답, 텍스트-이미지 생성, 지시 기반 편집, 인터리브 텍스트-이미지 예측을 지원한다. 전체 요약 8문장 읽기 → 003 15:11 ▲ 34 · 댓글 3 이산 토큰으로 시각과 언어 통일하다, dNaViT 언어 모델의 다음 토큰 예측 패러다임을 시각 모델로 확장하여 시각·언어 모델을 하나의 프레임워크로 통합할 수 있다는 가설에서 출발한 연구다. AI · 머신러닝 · dNaViT: Discrete Codes are General-Purpose Visual Representations
Key Point 언어 모델의 토큰 기반 체계를 시각 영역으로 완전히 옮겨 시각·언어 모델 통합이 가능함을 실증한 연구로, 멀티모달 AI의 아키텍처 통일 방향을 제시한다.
핵심 요약
언어 모델의 다음 토큰 예측 패러다임을 시각 모델로 확장하여 시각·언어 모델을 하나의 프레임워크로 통합할 수 있다는 가설에서 출발한 연구다. 사전학습된 인코더에 가벼운 잔차 변조와 이중 목적 함수를 적용하여 시각 특성에 재구성 인식 신호를 주입하는 방식을 택했다. 군집 곱셈 양자화(grouped product quantization)로 공간 시퀀스 길이를 늘리지 않으면서도 이산 표현 용량을 확장했다. 전체 요약 7문장 읽기 → 004 15:11 ▲ 31 · 댓글 2 통합 멀티모달 모델용 대규모 대화형 데이터셋 공개 통합 멀티모달 모델(UMM)은 시각 이해, 생성, 편집을 하나의 프레임워크에서 수행하지만 기존 데이터셋은 단순 작업 중심이었다. AI · 머신러닝 · YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
Key Point 멀티모달 AI가 단순 일회성 작업을 넘어 복잡한 대화 흐름에서 상태를 정확히 관리해야 하는 시대에, 이를 평가할 첫 대규모 벤치마크가 공개되었기 때문이다.
핵심 요약
통합 멀티모달 모델(UMM)은 시각 이해, 생성, 편집을 하나의 프레임워크에서 수행하지만 기존 데이터셋은 단순 작업 중심이었다. 최근 다중 턴 데이터셋도 각 턴을 독립적으로 풀 수 있어, 대화 상태를 추적하고 유지해야 하는 상태형 상호작용을 평가하기 부족했다. YANAMI는 상태형 상호작용을 위한 첫 대규모 멀티모달 대화 데이터셋으로 YANAMI-400K와 YANAMI-Bench로 구성된다. 전체 요약 8문장 읽기 → 005 15:11 ▲ 18 · 댓글 3 멀티모달 LLM의 '참조 결함' 진단 멀티모달 LLM은 시각 내용을 인식하지만 여러 단계에 걸쳐 신뢰할 수 있게 추론하지 못한다. AI · 머신러닝 · Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
Key Point 멀티모달 LLM의 추론 실패가 단순한 시각 인식 문제가 아니라 언어-시각 바인딩 결함이라는 새로운 진단은, 향후 모델 개선 방향을 시각 구조(visual scaffolds)로 전환하게 한다.
핵심 요약
멀티모달 LLM은 시각 내용을 인식하지만 여러 단계에 걸쳐 신뢰할 수 있게 추론하지 못한다. 숫자 세기 같은 작업에서 모델은 모든 객체를 보면서도 어떤 것을 이미 셌는지 추적하지 못하는데, 이는 시각 인식 실패가 아니라 언어와 시각 대상을 연결하지 못하는 '참조 결함'이다. 시각 루틴 이론에 기반해, 번호 매김 같은 외부 참조가 이 결함을 좁힐 수 있는지 테스트했다. 전체 요약 6문장 읽기 → 006 18:11 ▲ 33 · 댓글 2 엔비디아, 시각·생성 통합한 확산 언어모델 공개 엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. AI · 머신러닝 · Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation
Key Point 단일 모델에서 시각 이해와 생성을 모두 처리하고자 하는 개발자들에게 새로운 아키텍처와 훈련 방법이 어떻게 여러 작업에 동시에 최고 성능을 달성했는지 보여준다.
핵심 요약
엔비디아 연구팀이 시각 이해와 생성을 하나의 모델로 처리하는 Nemotron-Labs-Diffusion-Uni(NLD-Uni)를 제안했다. 기존 확산 모델과 달리 자동회귀 VLM의 이해 능력과 연속 흐름 모델의 생성 능력을 교차 패러다임 온-정책 증류(OPD)로 통합했다. 훈련 시 이미지 토큰을 마스크로 직접 손상시키는 기존 방식 대신, 여러 단계에 걸쳐 각 토큰을 점진적으로 손상시키는 자가-정제 확산 프로세스를 도입했다. 전체 요약 5문장 읽기 → 007 18:11 ▲ 38 · 댓글 2 세밀한 시각 이해를 위해 생성 모델의 정보 활용 세밀한 시각 이해(Fine-grained visual understanding)는 미묘한 차이와 공간 관계를 구별해야 하는데, 현존 비전-언어 모델들에겐 여전히 어렵다. AI · 머신러닝 · What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
Key Point 멀티모달 모델에서 생성 능력이 이해 성능까지 높일 수 있다는 새로운 접근법을 보여주며, 공간 관계 같은 세밀한 차이 구별이 중요한 시각 작업에서 실질적 개선을 입증했다.
핵심 요약
세밀한 시각 이해(Fine-grained visual understanding)는 미묘한 차이와 공간 관계를 구별해야 하는데, 현존 비전-언어 모델들에겐 여전히 어렵다. 통합 멀티모달 모델(UMM)에서 생성 경로는 이해 경로를 보완하는 풍부한 시각 정보를 보존하지만, 기존 방식들은 생성 측 표현을 직접 활용하지 않았다. 연구팀은 생성 측 표현이 세밀한 의미 변화에 더 민감하고, 이해 측에서 놓치는 작업 관련 변화를 포착하며, 공간 구조에 올바르게 의존한다는 것을 발견했다. 전체 요약 6문장 읽기 → 008 12:11 ▲ 51 · 댓글 2 확산 모델의 특성을 선별하는 정책 기반 마스킹 기법 기존에 고정된 규칙으로 추출하던 확산 모델의 중간 특성을 동적으로 선택하는 Policy-Mask 기법을 제시한다. AI · 머신러닝 · Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks
Key Point 차별적 작업에 확산 모델의 특성을 재활용할 때 수동으로 설정하던 추출 규칙을 자동으로 최적화해 다양한 시각 이해 작업에서 성능 향상을 실현한다.
핵심 요약
기존에 고정된 규칙으로 추출하던 확산 모델의 중간 특성을 동적으로 선택하는 Policy-Mask 기법을 제시한다. 확산 과정의 타임스텝, 네트워크 깊이, 채널 세 가지를 모두 함께 최적화하되, 채널 수 제한(예산)을 고려한다. 채널 점수가 선택된 채널 수에 따라 증가하는 문제를 정규화로 해결하여 세 개의 정책이 균형있게 학습되도록 한다. 전체 요약 6문장 읽기 → 009 00:11 ▲ 28 · 댓글 1 로봇 자가학습 에이전트로 장기 조작 과제 정복 Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. AI · 머신러닝 · From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
Key Point 로봇이 여러 단계의 조작 작업에서 과거 경험을 학습하며 스스로 개선되는 기법이 실제로 성능을 높이는 방식과 수치를 제시했다.
핵심 요약
Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. 부분 관측 가능성과 실행 오류가 시간에 따라 누적되며, 기존 방식은 기초 모델에 메모리를 추가하거나 고수준 계획과 저수준 실행을 분리하는 계층적 구조로 이를 해결해왔다. 연구팀은 고수준 VLM을 수정 가능한 하네스(harness)를 통해 로봇 에이전트로 구성해 작업 맥락을 유지하고 실행 경험으로 계획을 개선하는 접근법을 제시했다. 전체 요약 6문장 읽기 → 010 00:11 ▲ 18 · 댓글 2 장시간 비디오에서 사건 추론하는 새로운 과제 Event-STVG 제시 기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. AI · 머신러닝 · Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
Key Point 비디오 이해 AI의 현재 한계를 실제 벤치마크로 검증하며, 장시간 사건 추론이라는 새로운 요구에 맞춘 모델 개발 방향을 제시한다.
핵심 요약
기존 시공간 비디오 그라운딩(STVG)은 자연어 질의로부터 비디오 내 대상을 시간과 공간에 걸쳐 정확히 찾는 작업이었으나, 개별 인스턴스 설명에만 초점을 맞춰 장시간 추론 능력이 부족했다. Event-STVG는 STVG를 단순 객체 검색에서 사건 수준의 추론으로 확장하는 새로운 과제로, 장시간 문맥 이해, 반복되는 사건 구분, 사건 위치 파악, 역할 추론, 다중 대상 그라운딩을 통합한다. 축구를 포함한 8개 도메인에서 총 4,016개의 사건 발생을 주석 처리한 대규모 벤치마크를 구축했다. 전체 요약 7문장 읽기 → 011 12:11 ▲ 578 · 댓글 4 동영상 이해 AI의 종합 평가 기준 'OmniCompass' 공개 멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. AI · 머신러닝 · OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
Key Point 오픈소스 MLLM과 상용 모델 간의 격차를 정량적으로 드러내고, 음성-시각 이해라는 미흡한 영역을 구체적으로 지목하는 실제 평가 결과를 제시한다.
핵심 요약
멀티모달 대형언어모델(MLLM)의 동영상 이해 능력을 체계적으로 평가하기 위해 OmniCompass 벤치마크를 새로 제안했다. VL 트랙(시각 정보 기반)과 AV 트랙(음성-시각 결합)의 두 평가 경로로 구성되며, 각각 시간 정위(TG), 공간 정위(SG), 질의응답(QA) 세 가지 과제를 포함한다. VL 트랙은 5가지 지각·3가지 추론 범주를 다루고, AV 트랙은 3가지 지각·2가지 추론 범주를 다룬다. 전체 요약 7문장 읽기 → 012 12:11 ▲ 43 · 댓글 2 멀티코드북 디퓨전으로 텍스트·이미지 통합 생성 가능 기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. AI · 머신러닝 · Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
Key Point 이산 공간에서 고해상도 이미지 생성과 텍스트 모델링을 진정으로 통합한 첫 디퓨전 언어모델로, 단일 모델로 텍스트·이미지·비디오·3D를 모두 다룰 수 있다는 점에서 멀티모달 생성의 새로운 패러다임을 제시한다.
핵심 요약
기존 이미지 생성 모델은 단일 코드북 기반으로 표현력이 제한되거나, 텍스트와 이미지를 서로 다른 최적화 목표로 학습해 모달리티 간 충돌이 발생했다. Intern Lumina U2는 각 시각적 위치를 여러 상호보완적 코드북의 코드 그룹으로 표현하는 멀티코드북 디퓨전 언어모델로, 이산 공간에서 고용량 시각 표현과 텍스트를 통합한다. 입력 시 각 위치의 임베딩을 연결하고, 출력 시 경량의 멀티코드북 자동회귀 헤드가 각 위치 내 코드를 순차적으로 예측하면서 디퓨전 백본은 모든 위치를 병렬 처리한다. 전체 요약 6문장 읽기 → 013 15:11 ▲ 18 · 댓글 2 시각 모델도 '다각도로 생각한다'…공간 추론 학습법 제시 인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. AI · 머신러닝 · SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
Key Point 거대 비전-언어 모델이 공간 추론 시 인간처럼 다각도 사고를 할 수 있도록 만드는 실질적인 학습 방법론을 제시해 모델 기반 시각 이해의 한계를 구체적으로 개선한다.
핵심 요약
인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다. 연구팀은 이를 '능동적 공간 심상화(Active Spatial Mentalization, ASM)'라 정의하고, LVLM에 이 능력을 내재화하는 SpatialASM 프레임워크를 제시했다. SpatialASM은 학습 단계에서 시뮬레이션된 다양한 시점으로 학습하며, 할로센트릭(allocentric) 뷰 생성 모델을 사용해 가설적 시점을 실제 시각 데이터에 근거하게 한다. 전체 요약 6문장 읽기 → 014 09:11 ▲ 23 · 댓글 2 인간의 직관을 넘지 못하는 멀티모달 AI…'제6의 감각' 벤치마크 공개 인간은 장면에서 명시적으로 드러난 것 이상을 인지한다. 과거 원인과 미래 궤적, 차량이 좁은 공간에 들어갈 수 있는지 여부, 영상에서 권위 관계, 보이지 않는 규칙 같은 추상적 패턴까지 순식간에 파악한다. AI · 머신러닝 · Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models
Key Point 최고 수준의 멀티모달 AI도 인간의 직관적 시각 이해에 40%P 이상 뒤처지는 이유를 파악할 수 있는 새 평가 틀이 제시되었습니다.
핵심 요약
인간은 장면에서 명시적으로 드러난 것 이상을 인지한다. 과거 원인과 미래 궤적, 차량이 좁은 공간에 들어갈 수 있는지 여부, 영상에서 권위 관계, 보이지 않는 규칙 같은 추상적 패턴까지 순식간에 파악한다. 이런 빠른 직관적 추론 능력은 일상 네비게이션과 사회 상호작용의 핵심이며, 인간 곁에 배치되는 멀티모달 LLM에 필수적이다. 기존 시각 벤치마크들은 학술 수학 영역의 전문가 수준 분석 또는 저수준 지각만 다루며, 인간이 일상적으로 수행하는 직관적 추론은 검증되지 않는 문제가 있다. 전체 요약 8문장 읽기 → 015 18:11 ▲ 21 · 댓글 2 추론 능력이 필요한 이미지 편집, 벤치마크와 해법 제시 대규모 멀티모달 모델(LMM)이 시각 이해와 생성에는 진전했지만, 복잡한 지시 이해, 외형 일관성 보존, 유연한 입력 형식 지원에서 이미지 편집 능력이 부족하다. AI · 머신러닝 · Reasoning-Informed Visual Editing
Key Point 복잡한 지시에 따라 이미지를 편집하는 능력이 LMM의 주요 약점임을 정량화한 첫 벤치마크이며, 현 최고 모델도 56%대 정확도에 불과해 이 분야의 개선이 얼마나 필요한지 보여준다.
핵심 요약
대규모 멀티모달 모델(LMM)이 시각 이해와 생성에는 진전했지만, 복잡한 지시 이해, 외형 일관성 보존, 유연한 입력 형식 지원에서 이미지 편집 능력이 부족하다. 이 문제를 연구하기 위해 추론 기반 시각 편집(RISE)을 평가하는 RISEBench 벤치마크를 개발했고, 더 포괄적인 RISEBench++로 확장했다. RISEBench++는 시간적·인과적·공간적·논리적·반사실적 추론과 다중 추론을 통합한 하이브리드 추론 등 6개 차원으로 계층화되어, 12개 세부 카테고리와 65개 세분화 과제로 구성된다. 전체 요약 8문장 읽기 → 016 18:30 ▲ 53 · 댓글 3 시각·언어·행동을 통합한 로봇 모델 UniWAM, 다중 작업에서 최고 성능 달성 비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. AI · 머신러닝 · UniWAM: Unified World-Action Model
Key Point 로봇 학습에서 시각 이해와 행동 예측을 한 모델로 통합하는 접근법이 어떻게 작동하는지, 그리고 인간 데이터와 로봇 데이터를 함께 사용했을 때의 스케일링 효과를 보여주는 연구로, 구체화된 AI 시스템의 확장성을 이해하는 데 도움이 된다.
핵심 요약
비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. 물리 추론기, 월드 생성기, 액션 예측기를 하나로 통합해 의미론적 이해, 시각 생성, 행동 예측을 동시에 학습한다. 저수준 행동을 자연언어로 표현하고, VQA 데이터·인간 이고센트릭 영상·로봇 시연으로 사전학습한다. 전체 요약 8문장 읽기 → 017 15:11 ▲ 43 · 댓글 1 시각 생성 학습이 인식 성능을 높이는 조건 이미지 생성(I2I) 작업으로 학습하면 기하학, 공간 관계, 객체 인식 능력 같은 풍부한 지각 능력을 얻을 수 있지만, 시각 이해 능력 향상에 어떻게 도움이 되는지는 명확하지 않았다. AI · 머신러닝 · OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
Key Point 어떤 생성 과제가 어떤 이해 능력을 향상시키는지 체계적으로 규명하면, 멀티모달 모델 학습의 효율성을 크게 높일 수 있기 때문입니다.
핵심 요약
이미지 생성(I2I) 작업으로 학습하면 기하학, 공간 관계, 객체 인식 능력 같은 풍부한 지각 능력을 얻을 수 있지만, 시각 이해 능력 향상에 어떻게 도움이 되는지는 명확하지 않았다. 연구진은 같은 문제를 다양한 출력 형태로 표현하는 이미지-이미지(I2I) 생성 과제와 이미지-텍스트(I2T) 이해 과제의 짝을 만들어 비교했다. 올바른 학습 방식으로 I2I 학습을 진행하면 I2T 성능이 향상되며, I2I 학습 데이터가 많을수록 개선 폭이 크다. 전체 요약 8문장 읽기 → 018 18:11 ▲ 11 · 댓글 1 생성 AI의 시각적 문제해결 능력 평가하는 벤치마크 기존 벤치마크는 지각, 생성, 명시적 변환만 평가하며 목표 기반의 시각적 문제해결은 평가하지 못했다. AI · 머신러닝 · SolveEdit: Benchmarking Visual Problem Solving in Generative Models
Key Point 생성 AI가 물체 배치, 레이아웃 수정 같은 시각적 목표 달성 문제를 얼마나 잘 풀 수 있는지 체계적으로 평가할 수 있게 되었다.
핵심 요약
기존 벤치마크는 지각, 생성, 명시적 변환만 평가하며 목표 기반의 시각적 문제해결은 평가하지 못했다. SolveEdit은 이미지와 목표가 주어졌을 때 장면을 변환하는 생성 모델의 능력을 평가하는 벤치마크다. 모델은 요청·장면·시각적 규칙에서 유효한 변환을 추론한 뒤 무관한 내용은 보존하면서 실행해야 한다. 전체 요약 6문장 읽기 →