쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
4건 · "시각 학습"조건 지우기 ×
001 18:11 ▲ 24 · 댓글 2 이미지 생성 학습이 멀티모달 모델의 지식을 늘릴까? 통합 멀티모달 모델(UMM)이 이미지 생성 학습으로 텍스트에 없는 시각 정보를 얻을 수 있는지 검증하기 위해 Knowledge Transfer Probing(KTP) 프로토콜을 개발했다. AI · 머신러닝 · Can Visual Generation Expand What Unified Multimodal Models Know?
Key Point 멀티모달 AI가 텍스트와 이미지 생성을 함께 배울 때 실제로 지식 확장이 일어나는지 실증적으로 검증한 연구로, 향후 멀티모달 모델 설계의 방향성을 제시한다.
핵심 요약
통합 멀티모달 모델(UMM)이 이미지 생성 학습으로 텍스트에 없는 시각 정보를 얻을 수 있는지 검증하기 위해 Knowledge Transfer Probing(KTP) 프로토콜을 개발했다. KTP는 이미지 생성 훈련으로 새로운 지식을 주입한 후 텍스트만으로 답변하도록 테스트하는 방식으로, 7가지 지식 범주와 3개의 UMM에서 실험했다. 시각 학습에서 언어로의 직접적이지만 불균형한 지식 전이가 관찰되었으며, 이를 개선하기 위해 텍스트 정렬(Textual Alignment)과 인터리브 이미지-텍스트 정렬(Interleaved Image-Text Alignment) 방법을 제안했다. 전체 요약 6문장 읽기 → 002 15:11 ▲ 261 · 댓글 2 로봇·자율주행용 '공간 인지' 기초 모델 GroundingPI 공개 Hugging Face와 arXiv의 공동 발표로, GroundingPI라는 40억 개 파라미터 크기의 기초 모델을 소개한다. AI · 머신러닝 · GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives
Key Point 로봇 팔과 자율주행 자동차가 정확하고 빠르게 물체를 인식해야 하는데, 기존 범용 시각 모델 대신 공간 좌표 인식에 특화한 기초 모델을 쓰면 성능이 크게 오른다는 실증적 결과를 제시한다.
핵심 요약
Hugging Face와 arXiv의 공동 발표로, GroundingPI라는 40억 개 파라미터 크기의 기초 모델을 소개한다. 이 모델은 점과 박스 형태의 정량화된 좌표를 공유 어휘로 생성해, 혼잡한 환경과 작은 물체의 위치 파악을 빠르게 수행한다. 다중모달·공간 사전학습, 지도학습, GRPO 강화학습을 결합해 학습하며, 공개 데이터셋과 자체 데이터 엔진의 감시 신호를 활용했다. 전체 요약 8문장 읽기 → 003 18:12 ▲ 139 · 댓글 2 로봇 팔이 던져진 상자를 받는다 - 시각·반사·전신제어 동시에 인간은 테니스 공 받기, 떨어지는 컵 잡기 같은 일상 동작을 1초 안에 시각과 반사신경으로 처리하지만, 휴머노이드 로봇은 이를 어렵게 느낀다. AI · 머신러닝 · Reflex: Visually Grounded Reactive Humanoid Control
Key Point 시각 피드백 기반의 실시간 전신 제어라는 난제를 단계별 학습으로 풀었고, 실제 로봇에서 인간 수준의 반사 동작 구현에 가까워지고 있습니다.
핵심 요약
인간은 테니스 공 받기, 떨어지는 컵 잡기 같은 일상 동작을 1초 안에 시각과 반사신경으로 처리하지만, 휴머노이드 로봇은 이를 어렵게 느낀다. Reflex는 던져진 상자 잡기를 목표로 전신 제어·물체 동역학 예측·시각 인지 세 가지 능력을 단계별로 학습하는 프레임워크다. 첫 번째 단계에서는 강화학습으로 상태 기반 전신 잡기 정책을 학습하고, 두 번째는 불완전하고 지연된 관찰에서 움직이는 상자의 동역학을 추론하며, 세 번째는 RGB-D 카메라로부터 직접 동역학을 복원한다. 전체 요약 6문장 읽기 → 004 15:13 ▲ 47 · 댓글 6 로봇이 시각 데모로 과제를 배우는 ICL 프레임워크 공개 로봇 인콘텍스트 학습(ICL)은 시각 데모로부터 작업을 추론·실행하는 패러다임인데, 시각 데모가 동작 궤적·물체 의미·조작 가능성·공간 관계·작업 목표를 동시에 전달하면서 로봇이 실제로 무엇을 따라야 하는지 불명확한 문제가 있었다. AI · 머신러닝 · In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks
Key Point 로봇 조작 학습의 실용화를 막던 문제 정의 부재를 해결하고, 대규모 학습 없이도 작동하는 재현 가능한 오픈소스 방식을 제시한 점이 의미있다.
핵심 요약
로봇 인콘텍스트 학습(ICL)은 시각 데모로부터 작업을 추론·실행하는 패러다임인데, 시각 데모가 동작 궤적·물체 의미·조작 가능성·공간 관계·작업 목표를 동시에 전달하면서 로봇이 실제로 무엇을 따라야 하는지 불명확한 문제가 있었다. 연구팀은 로봇 ICL의 명확한 문제 정의를 제시하고 근본적인 프롬프트 모호성을 해결했다. 비전 프롬프트 인코더와 저비용 데이터 수집 프로토콜을 갖춘 미니멀한 프레임워크 SimpleICL을 개발했다. 전체 요약 6문장 읽기 → 
