쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
6건 · "Vision-Language Models"조건 지우기 ×
001 12:11 ▲ 10 · 댓글 3 영상 편집 자동화 평가하는 벤치마크 'RoughCut-Bench' 공개 영상 미디어 제작 초기 단계인 '러프컷'(원본 영상을 조직화한 초안)을 자동으로 수행하는 대규모 비전-언어 모델(LVLM) 평가를 위해 RoughCut-Bench 벤치마크를 제안했다. AI · 머신러닝 · RoughCut-Bench: A Benchmark for Automatic Video Rough-Cut with Large Vision-Language Models
Key Point 영상 편집은 미디어 제작의 핵심 단계이지만 아직 자동화 평가 기준이 없었는데, 이 벤치마크가 LVLM의 편집 능력을 체계적으로 측정할 수 있게 해준다.
핵심 요약
영상 미디어 제작 초기 단계인 '러프컷'(원본 영상을 조직화한 초안)을 자동으로 수행하는 대규모 비전-언어 모델(LVLM) 평가를 위해 RoughCut-Bench 벤치마크를 제안했다. 벤치마크는 두 가지 실무적 설정을 포함한다: 영상 중심 설정은 101개 사례에 831개 원본 영상과 1,476개 하이라이트 주석을 담고 있으며, 하이라이트 감지·선택, 소스 영상 정렬, 사용자 요구사항 준수를 다룬다. 음성 중심 설정은 84개 사례로 구성되며, 자동 음성 인식(ASR) 텍스트에서 필러 제거, 표현 중복 제거, 저가치 콘텐츠 트리밍을 평가한다. 전체 요약 6문장 읽기 → 002 21:11 ▲ 42 · 댓글 2 시각-언어 모델의 "의식" 구조 규명, 개념 접근성 분석 도구 개발 Vision-language models(VLMs)가 시각과 텍스트 정보를 통합하지만 내부 개념 표현은 드러나지 않는 문제를 해결하기 위해 Multimodal Concept Lens(MC-Lens)를 개발했다. AI · 머신러닝 · Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models
Key Point 시각-언어 모델의 내부 작동 원리를 뇌의 의식 메커니즘과 연결하여 해석하는 새로운 분석 도구로, 모델의 의미 이해 과정과 정렬 훈련의 구체적 메커니즘을 규명하는 데 도움이 된다.
핵심 요약
Vision-language models(VLMs)가 시각과 텍스트 정보를 통합하지만 내부 개념 표현은 드러나지 않는 문제를 해결하기 위해 Multimodal Concept Lens(MC-Lens)를 개발했다. MC-Lens는 multimodal Jacobian lens로서 뇌의 global workspace theory(GWT)를 모델링하며, 중간 상태를 디코더의 출력 어휘로 정의된 공유 의미 공간에 매핑한다. multimodal 개념 정보는 중간 상태에서 읽을 수 있으며, 작업 요구에 따라 선택적으로 접근 가능함을 확인했다. 전체 요약 9문장 읽기 → 003 18:11 ▲ 39 · 댓글 3 시각 정보를 고려한 빠른 추론 MMFlash 공개 Speculative decoding은 가벼운 초안 모델이 토큰을 제안하고 목표 모델이 병렬로 검증하는 방식으로 생성 속도를 높인다. AI · 머신러닝 · MMFlash: Faster Speculative Decoding for Vision-Language Models
Key Point 비전-언어 모델의 추론 속도를 3배 이상 높이는 기술로, 시각 정보 처리가 필요한 AI 애플리케이션의 응답성을 크게 개선할 수 있다.
핵심 요약
Speculative decoding은 가벼운 초안 모델이 토큰을 제안하고 목표 모델이 병렬로 검증하는 방식으로 생성 속도를 높인다. 기존 DFlash 같은 확산 기반 초안 작성기는 텍스트 전용 작업에 주력했고 멀티모달 환경에서의 초안 작성은 충분히 연구되지 않았다. 연구팀은 시각 정보가 다음 토큰 분포에 미치는 영향을 KL 발산으로 측정하는 지표를 도입했다. 전체 요약 8문장 읽기 → 004 18:11 ▲ 15 · 댓글 2 이미지-텍스트 모델, 속성-객체 연결 약하다 비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다. AI · 머신러닝 · Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
Key Point CLIP, DINOv2 등 대중적인 비전-언어 모델이 기본적인 속성 구분을 못 하는 약점을 드러냈으며, 실제 멀티모달 검색 품질 개선에 직결된다.
핵심 요약
비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다. 기존 벤치마크는 모달리티 쌍, 객체 개수, 속성 유형이 제한적이어서 모델의 바인딩 능력을 제대로 평가하지 못했다. 연구팀은 4가지 이미지-텍스트 모달리티 쌍, 다양한 속성 유형, 최대 10개 객체를 포함하는 SABER 벤치마크를 개발했다. 전체 요약 7문장 읽기 → 005 12:11 ▲ 11 · 댓글 2 비전-언어 모델의 공간 추론 능력 평가 벤치마크 공개 시각-언어 모델의 공간 추론 능력을 평가하는 첫 벤치마크 SpaceCast-Bench를 공개했다. AI · 머신러닝 · SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models
Key Point 현재 주류 시각-언어 모델들이 보이는 공간을 읽기만 하는 수준이며, 실제 공간 추론 능력에서 심각한 격차를 보이고 있기 때문이다.
핵심 요약
시각-언어 모델의 공간 추론 능력을 평가하는 첫 벤치마크 SpaceCast-Bench를 공개했다. 182개의 실제 장면에서 3,862개 질문으로 구성되며, 정적 인식·국소 예측·전역 예측의 3단계 16가지 과제를 포함한다. 기존 벤치마크는 입력에 이미 보이는 관계를 읽는 지각 능력만 테스트하지만, SpaceCast-Bench는 장면을 구성하고 개입의 결과를 예측하는 예측적 공간 추론을 직접 평가한다. 전체 요약 6문장 읽기 → 006 18:11 ▲ 12 · 댓글 1 프로그램 검증으로 강화한 시각-언어 모델 자가학습 시각-언어 모델의 자가학습은 라벨 없는 이미지에서 생성한 질문으로 학습하는데, 기존 방식은 다수결 투표나 모델 심판으로 답을 결정하면서 24~18% 오류율을 낳고 있다. AI · 머신러닝 · Program-Verified Self-Evolution for Vision-Language Models
Key Point 라벨 없는 데이터로 자가학습하는 모델의 답 검증 정확도를 다수결 투표 76%에서 94%로 끌어올린 방법론이므로, 대규모 비지도 학습 시대에 레이블 수집 비용과 오류 문제를 해결하는 접근법으로 주목할 만하다.
핵심 요약
시각-언어 모델의 자가학습은 라벨 없는 이미지에서 생성한 질문으로 학습하는데, 기존 방식은 다수결 투표나 모델 심판으로 답을 결정하면서 24~18% 오류율을 낳고 있다. 이를 해결하기 위해 VQS(Verifiable QA Generation for Self-Evolving Models)는 답변 검증 방식을 바꿔서, 이미지를 장면그래프·차트·다이어그램 같은 구조화된 기록으로 파싱한 뒤 고정된 프로그램이 질문과 답을 생성한다. 모델은 프로그램이 읽은 개별 사실을 주장 단위로 확인하는 시각 검증자 역할을 하며, 이러한 주장 수준의 검증이 파서의 학습 목표를 선택하므로 파서도 라벨 없이 개선된다. 전체 요약 7문장 읽기 →