쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
6건 · "비전-언어모델"조건 지우기 ×
001새 버전올라마, 엔비디아 네모트론 3.5 볼트 지원올라마 v0.40.10에서 엔비디아의 네모트론 3.5 볼트 E4B 멀티모달 언어 모델을 지원한다.AI · 머신러닝 · ollama/ollama@v0.40.10
Key Point로컬에서 실행 가능한 경량 멀티모달 모델의 추가로 더 낮은 리소스에서 온디바이스 AI를 사용하려는 개발자의 선택지가 늘었다.
핵심 요약
- 올라마 v0.40.10에서 엔비디아의 네모트론 3.5 볼트 E4B 멀티모달 언어 모델을 지원한다.
- 네모트론 3.5 볼트는 젬마 4 기반의 경량 비전-언어 모델로 로컬 대화, 이미지 이해, 도구 사용에 최적화되어 있다.
- 128K 토큰의 긴 컨텍스트 윈도우를 지원하며 추측 디코딩을 위한 드래프트 모델을 포함하고 있다.
전체 요약 4문장 읽기 →AI · 머신러닝 · Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
Key PointCLIP, DINOv2 등 대중적인 비전-언어 모델이 기본적인 속성 구분을 못 하는 약점을 드러냈으며, 실제 멀티모달 검색 품질 개선에 직결된다.
핵심 요약
- 비전-언어 모델의 멀티모달 검색에서 핵심은 개념뿐 아니라 속성이 어느 객체에 속하는지 정확히 인코딩하는 것(속성-객체 바인딩)이다.
- 기존 벤치마크는 모달리티 쌍, 객체 개수, 속성 유형이 제한적이어서 모델의 바인딩 능력을 제대로 평가하지 못했다.
- 연구팀은 4가지 이미지-텍스트 모달리티 쌍, 다양한 속성 유형, 최대 10개 객체를 포함하는 SABER 벤치마크를 개발했다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
Key Point장영상 이해가 VLM의 메모리 병목이 되는 시점에 학습 없이 적용 가능한 고정 메모리 솔루션이 나왔고, 기존 모델 대비 10% 이상 성능 향상을 보였다.
핵심 요약
- 비전-언어 모델(VLM)에서 긴 영상을 처리할 때 프레임당 하나의 토큰을 사용하면 메모리가 영상 길이에 비례해 증가하는 근본적 문제가 발생한다.
- 기존의 토큰 감소나 핵심 프레임 선택 방식도 O(n) 증가 추세를 해결하지 못한다.
- FramePack-U는 학습 없이 임의로 긴 영상을 고정 크기의 시각 표현으로 압축하는 훈련-자유 프레임 패킹 프레임워크다.
전체 요약 9문장 읽기 →AI · 머신러닝 · SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
Key Point거대 비전-언어 모델이 공간 추론 시 인간처럼 다각도 사고를 할 수 있도록 만드는 실질적인 학습 방법론을 제시해 모델 기반 시각 이해의 한계를 구체적으로 개선한다.
핵심 요약
- 인간이 공간 문제를 풀 때 머리 속으로 여러 시점에서 장면을 재구성하는데, 현재의 대규모 비전-언어 모델(LVLM)은 이런 능력이 부족하다.
- 연구팀은 이를 '능동적 공간 심상화(Active Spatial Mentalization, ASM)'라 정의하고, LVLM에 이 능력을 내재화하는 SpatialASM 프레임워크를 제시했다.
- SpatialASM은 학습 단계에서 시뮬레이션된 다양한 시점으로 학습하며, 할로센트릭(allocentric) 뷰 생성 모델을 사용해 가설적 시점을 실제 시각 데이터에 근거하게 한다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Video2Skill: From Streaming Experience to Reusable Embodied Skills
Key Point로봇의 조작 기술을 자동으로 발견하고 재사용할 수 있는 능력이 일반화의 핵심인데, 현재 대규모 모델조차 새로운 기술을 학습하는 데 실패한다는 점이 구체적으로 밝혀졌다.
핵심 요약
- 조작 행동은 대상·장면마다 다르지만 재사용 가능한 기술의 작은 집합으로 구성되며, 이런 기술을 활용한 계획 수립이 에이전트의 새로운 작업 일반화를 돕는다.
- 연구팀은 영상 스트림에서 재사용 가능한 기술을 지속적으로 발견하는 '스트리밍 체현화된 기술 발견(SESD)' 문제를 정의하고, 이를 측정하는 Video2Skill 벤치마크를 개발했다.
- 벤치마크는 로봇 테이블탑 조작과 인간의 주방 활동을 다루며 세 가지 핵심 능력을 테스트한다: (i) 시간상 조작 사건 위치 파악, (ii) 같은 변환의 사건 그룹화, (iii) 기존 기술 재사용 vs 새 기술 생성 판단.
전체 요약 8문장 읽기 →하드웨어 · 시스템 · Transferring the Intelligence of VLMs to Robotic Control
Key Point로봇 제어에 사전학습된 대규모 언어-시각 모델을 직접 활용하는 방식이 과제별 학습 없이도 작동하며, 현실 로봇까지 확대되는 경로를 제시해 로봇공학의 실용화 가능성을 높인다.
핵심 요약
- VLM을 로봇 제어에 활용하는 RoboDawn 인터페이스를 제시했다. 로봇이 자신의 시각 상태를 관찰하고 다음 행동을 추론하며 이를 실행하고 결과에 따라 의사결정을 적응시키는 폐루프 방식으로 동작한다.
- 소수의 데모로 VLM을 인터페이스 사용법과 작업 전략에 적응시키는 인-컨텍스트 러닝 기법을 도입했다.
- 작업별 로봇 학습 없이도 강한 성능을 달성하며, 제로샷 설정에서 기존 정책보다 우수하다.
전체 요약 5문장 읽기 →