쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 17일 (화)까지 4750건
18건 · "비전-언어-행동"조건 지우기 ×
001 15:11 ▲ 89 · 댓글 4 게임과 현실 환경을 아우르는 멀티모달 AI 에이전트 'Gamer' 공개 Hugging Face가 장시간 작업을 수행하는 범용 시각-언어-행동 기초 모형 'Gamer'를 공개했다. AI · 머신러닝 · Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
Key Point 키보드-마우스 궤적 데이터 대규모 학습만으로 게임과 현실 환경 모두에서 작동하는 범용 에이전트를 만들 수 있음을 보여, AI 에이전트의 실용적 확장 경로를 제시한다.
핵심 요약
Hugging Face가 장시간 작업을 수행하는 범용 시각-언어-행동 기초 모형 'Gamer'를 공개했다. 지각·메모리 관리·다단계 추론을 결합한 엔드투엔드 아키텍처로 2D 그래픽 인터페이스와 3D 시뮬레이션 환경 모두 대응한다. 수만 시간 분량의 장치 수준 키보드·마우스 상호작용 데이터로 사전학습하며, 시뮬레이션 게임과 체구화 환경의 궤적을 포함해 물리·가상 도메인의 환경 역학을 학습한다. 전체 요약 8문장 읽기 → 002 18:12 ▲ 102 · 댓글 2 손가락 감각 센서 통합하는 택타일 기초 모델 공개 복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. AI · 머신러닝 · Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
Key Point 여러 종류의 촉각 센서를 하나의 모델로 통합하면 로봇의 손가락 조작 능력이 비약적으로 향상되는데, 이는 산업용 로봇과 지능형 로봇 개발에 필수적인 기술이다.
핵심 요약
복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. 압저항식(piezoresistive), 자기식(magnetic), 시각-촉각식(visuotactile) 센서 등 서로 다른 센서 데이터를 하나의 통일된 표현으로 변환하고 새로운 센서 유형으로 확장 가능하다. 생성된 택타일 토큰은 확산 정책(diffusion policy)부터 π₀.₅, LingBot-VLA 같은 비전-언어-행동(VLA) 모델까지 다양한 정책 모델에 플러그 앤 플레이 방식으로 통합되어 조작 능력을 향상시킨다. 전체 요약 6문장 읽기 → 003 15:10 ▲ 52 · 댓글 3 로봇 자율성 향상, 다중에이전트 프레임워크로 실적 2배 이상 돌파 파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. AI · 머신러닝 · Toward the Era of Agentic Embodied Intelligence
Key Point 로봇의 자율적 행동 성능을 2배 이상 끌어올린 프레임워크가 공개될 예정이며, 실제 가정용 로봇 작업에서의 높은 성공률과 빠른 학습 속도는 구체화 AI 실용화에 새로운 기준을 제시한다.
핵심 요약
파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. 연구팀이 A2-MEAS라는 구체화 다중에이전트 프레임워크를 제안했으며, 이는 코드를 확장 인터페이스로 삼는다. 수정 코드는 수정 언어, 공간 증거, 실행 이력, 행동 제안을 결합하며, MetaBrain이 학습 감독과 런타임 지도를 제공한다. 전체 요약 12문장 읽기 → 004 18:11 ▲ 30 · 댓글 2 로봇 모델 평가, 비용 없이 미리 걸러낸다 로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. AI · 머신러닝 · Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Key Point 로봇 모델을 평가하는 데 드는 비용과 시간을 대폭 줄일 수 있는 방법이 제시되어, 로봇 AI 개발 파이프라인의 효율성이 크게 바뀔 수 있다.
핵심 요약
로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. 플라토닉 표현 가설(PRH)은 모델 능력이 높아질수록 비전·언어처럼 모달리티들이 현실의 같은 통계 모델로 수렴한다고 본다. 연구진은 움직임 궤적도 이런 모달리티인지 묻고, 감각 표현이 물리 운동의 구조와 얼마나 잘 맞는지 측정하는 S²(Sensorimotor Alignment) 지표를 만들었다. 전체 요약 8문장 읽기 → 005 12:11 ▲ 30 · 댓글 3 로봇 조작 모델을 키우다, 영상에서 추출한 3D 행동으로 로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. AI · 머신러닝 · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions
Key Point 로봇 학습 데이터의 부족 문제를 해결하는 새로운 방법론으로, 일반 영상에서 로봇이 학습할 수 있는 신호를 뽑아낼 수 있음을 시사한다.
핵심 요약
로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. RynnVLA-Latent는 이를 해결하기 위해 사람, 로봇, 시뮬레이션 영상을 로봇 정책 사전학습용 감독 신호로 바꾼다. 핵심은 RynnLAM으로, 시각 전환(visual transition)에서 실제 로봇 제어 없이 3D 기반 잠재 행동을 학습한다. 전체 요약 10문장 읽기 → 006 00:11 ▲ 13 · 댓글 2 로봇 작업 성공·실패 판단 통합한 비전-언어-행동 모델 'Echo' 로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. AI · 머신러닝 · Echo: Coupled Action and Task Status Signal Denoising for Vision Language Action Models
Key Point 로봇이 작업 완료를 감지하고 자율적으로 판단할 수 있어야 실제 환경에서 신뢰할 수 있는 에이전트로 동작할 수 있기 때문이다.
핵심 요약
로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. 기존 방식은 프레임 단위의 세밀한 지도학습, 외부 감시 모델, 복잡한 아키텍처를 요구했으나, Echo는 프로세스 주석 없이 작업 상태 신호를 학습하면서도 단일 VLA 내에 상태 예측과 행동 생성을 간단히 통합한다. stop 신호와 failure 신호를 행동 청크의 두 차원으로 추가하고, 로봇 행동과 함께 노이즈 제거 과정을 거쳐 두 신호의 조합으로 진행 중·성공·실패 상태를 구분한다. 전체 요약 6문장 읽기 → 007 00:11 ▲ 11 · 댓글 2 산업용 로봇 조작 평가 벤치마크 'LIBERO-Industry' 공개 LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 하드웨어 · 시스템 · LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints
Key Point 실제 제조 환경의 복잡한 제약을 반영한 평가 지표가 없어 범용 로봇 정책의 산업 적용 가능성을 정확히 측정할 수 없었는데, 이제 체계적인 벤치마크로 검증할 수 있게 됐다.
핵심 요약
LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 유연 제조(고혼합·소량 생산) 환경에서 로봇이 대응해야 하는 제품 변종, 이동 재료 흐름, 제한된 작업 시간, 기하학적 공차 같은 산업용 제약을 반영했다. 3가지 작업 시나리오(정적→동적 로딩, 동적→정적 언로딩, 동적→동적 전달)로 구성되며 총 216개 태스크를 포함한다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 30 · 댓글 2 로봇 지능의 다음 단계, '에이전틱 로봇' 체계적 정리 기초 모델 기반의 로봇 지능이 저수준 행동 예측에서 벗어나 인간의 지시를 이해하고, 환경과 상호작용하며, 실행 오류를 자동으로 교정하고, 전략을 동적으로 조정하는 '에이전틱 로봇'으로 진화하고 있다. AI · 머신러닝 · Towards Agentic Robots: Model, Data, Environment, and Harness
Key Point 로봇 AI의 패러다임이 전환되면서 분산된 연구들을 처음으로 체계화한 종합 가이드로, 로봇 개발자와 AI 연구자가 에이전틱 로봇의 전체 구조를 이해하고 각자의 연구를 위치시킬 수 있는 기준을 제공한다.
핵심 요약
기초 모델 기반의 로봇 지능이 저수준 행동 예측에서 벗어나 인간의 지시를 이해하고, 환경과 상호작용하며, 실행 오류를 자동으로 교정하고, 전략을 동적으로 조정하는 '에이전틱 로봇'으로 진화하고 있다. 이 분야의 빠른 성장에도 불구하고 연구들이 체계적으로 연결되지 않아 서로 다른 에이전틱 기능을 완전한 로봇 시스템으로 통합하는 방법이 명확하지 않은 상황이다. 논문은 로봇 정책에서 에이전틱 시스템으로의 발전을 추적하며 비전-언어-행동 모델, 월드 모델, 월드-행동 모델을 다룬다. 전체 요약 6문장 읽기 → 009 21:11 ▲ 84 · 댓글 2 로봇 기초 모델 'GreenWAM' 공개, 20개 로봇 계열에서 통용 로봇이 필요한 세계 모델(행동의 결과 예측)과 정책(행동 선택)을 한 기초 모델이 모두 담당할 수 있는지 검증하는 연구다. AI · 머신러닝 · GreenWAM: A World Foundation Model for Robotics
Key Point 다양한 로봇 종류에서 작동하는 통합 기초 모델이 세계 모델과 정책을 모두 수행할 수 있음을 처음으로 입증하며, 로봇 비전 분야의 일반화 문제에 실질적 해법을 제시한다.
핵심 요약
로봇이 필요한 세계 모델(행동의 결과 예측)과 정책(행동 선택)을 한 기초 모델이 모두 담당할 수 있는지 검증하는 연구다. 로봇마다 다른 행동 표기법을 통합하기 위해 20개 로봇 계열(양팔 로봇부터 손가락까지 제어하는 휴머노이드까지)을 공통 관절 좌표로 설명하는 '공유 해부학적 행동 공간'을 구축했다. 세계 모델 모드, 행동-조건부 모드, 세계-행동 모드의 세 가지 방식으로 이들 로봇 계열을 함께 학습했고, 행동 전문가를 분리하는 정책 구조를 적용했다. 전체 요약 7문장 읽기 → 010 18:11 ▲ 25 · 댓글 2 언어-행동 이중 부트스트래핑으로 네비게이션 성능을 자동 개선하다 자연어 지시를 따라 목표 위치에 도달하는 비전-언어 네비게이션 모델을 만들 때 고품질의 언어 감독 데이터가 필수이나, 사람이 직접 주석을 다는 것은 비용이 많이 든다. AI · 머신러닝 · Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping
Key Point 고비용의 인간 주석 없이도 모델이 스스로 학습 데이터를 생성하고 개선하는 방식은 대규모 AI 시스템의 데이터 확보 문제를 어떻게 풀 수 있는지 보여주는 중요한 사례다.
핵심 요약
자연어 지시를 따라 목표 위치에 도달하는 비전-언어 네비게이션 모델을 만들 때 고품질의 언어 감독 데이터가 필수이나, 사람이 직접 주석을 다는 것은 비용이 많이 든다. 기존 방법들은 네비게이션과 명령어 생성을 분리된 모델로 처리하거나 특정 컴포넌트로 묶어서 처리하는 한계가 있었고, 고정된 모델로 전체 궤적을 미리 주석해서 생성된 감독이 진화하는 정책에 뒤처지는 문제가 있었다. 논문은 RSI-Nav라는 데이터 중심의 재귀적 자가개선 프레임워크를 제안하며, 하나의 공유 모델로 비전-언어-행동 명령 수행과 비전-행동-언어 명령 생성을 통합한다. 전체 요약 7문장 읽기 → 011 00:11 ▲ 20 · 댓글 2 Flow 정책 미세조정을 위한 스칼라 수반 매칭 기법 Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. AI · 머신러닝 · Q-Learning with Scalar Adjoint Matching
Key Point Flow 정책의 강화학습 미세조정 비용을 획기적으로 줄이면서도 실제 로봇 제어까지 검증한 실용적 알고리즘이 제안되었다.
핵심 요약
Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. Flow 정책을 학습된 가치 함수로 미세조정하는 것은 정책이 많은 Flow 스텝을 거쳐 행동을 생성하므로 비자명하다. 기존 수반 매칭은 최종 행동에서 각 Flow 스텝으로 가치 정보를 역전파하는 원칙적 방법이지만, 매 스텝마다 벡터-야코비안 곱을 요구해 계산 비용이 Flow 스텝 수와 정책 크기에 따라 증가한다. 전체 요약 9문장 읽기 → 012 18:30 ▲ 53 · 댓글 3 시각·언어·행동을 통합한 로봇 모델 UniWAM, 다중 작업에서 최고 성능 달성 비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. AI · 머신러닝 · UniWAM: Unified World-Action Model
Key Point 로봇 학습에서 시각 이해와 행동 예측을 한 모델로 통합하는 접근법이 어떻게 작동하는지, 그리고 인간 데이터와 로봇 데이터를 함께 사용했을 때의 스케일링 효과를 보여주는 연구로, 구체화된 AI 시스템의 확장성을 이해하는 데 도움이 된다.
핵심 요약
비전-언어-행동 모델과 월드-액션 모델의 장점을 결합한 통합 아키텍처 UniWAM을 제안했다. 물리 추론기, 월드 생성기, 액션 예측기를 하나로 통합해 의미론적 이해, 시각 생성, 행동 예측을 동시에 학습한다. 저수준 행동을 자연언어로 표현하고, VQA 데이터·인간 이고센트릭 영상·로봇 시연으로 사전학습한다. 전체 요약 8문장 읽기 → 013 18:33 ▲ 29 · 댓글 3 로봇 실행 오차 보정하는 VLA 정책 제안 비전-언어-행동(VLA) 정책은 로봇이 명령한 움직임과 실제 실행 움직임이 다를 때 실패하는데, 이는 기계 마모나 페이로드 변화 같은 로봇 실행 오차에서 비롯된다. AI · 머신러닝 · Taming VLAs under Robot Execution Errors: Self-Compensation and Stress Testing
Key Point 로봇이 물리적 제약과 마모로 인해 명령과 다르게 동작할 때도 VLA를 안정적으로 사용할 수 있는 실무 해법이 필요한 시점이다.
핵심 요약
비전-언어-행동(VLA) 정책은 로봇이 명령한 움직임과 실제 실행 움직임이 다를 때 실패하는데, 이는 기계 마모나 페이로드 변화 같은 로봇 실행 오차에서 비롯된다. 연구팀은 자가 보정 VLA를 제안했으며, 이는 배포 시점에 VLA 정책이 로봇의 실행 오차를 미리 보정하는 명령을 생성할 수 있도록 한다. 작업 보상이나 레이블 없이 VLA가 명령한 행동과 로봇이 실제 실행한 움직임 간의 잔차를 이용해 온라인으로 정책을 업데이트한다. 전체 요약 6문장 읽기 → 014 18:35 ▲ 43 · 댓글 2 손재주 많은 로봇 제어, 3D 점군으로 배운다 세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. AI · 머신러닝 · PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
Key Point 기존 손재주 로봇 조작 모델은 평면 이미지와 1차원 관절각만 다루며 3D 공간 기하를 놓쳤던 근본적 한계를 점군으로 해결한 접근법이 기존 방식을 11.7포인트 이상 추월했다.
핵심 요약
세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. Point World Action Model (PointWAM)은 환경과 손을 공유 시공간 좌표에서 3D 점 궤적으로 명시적, 분리적으로 표현하고 함께 예측한다. 작업별 물체 또는 키포인트 선택 없이 대규모 인간 시연 영상으로 사전학습할 수 있으며, 컬러 포인트 클라우드와 언어 지시로부터 장면과 손이 3D 공간에서 시간 경과에 따라 어떻게 공진화하는지 예측한 후 손 동작을 로봇 행동으로 재타겟팅한다. 전체 요약 4문장 읽기 → 015 09:11 ▲ 15 · 댓글 2 로봇 비전-언어 모델의 실시간 피드백 학습으로 안전성과 성공률 동시 개선 비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. AI · 머신러닝 · Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models
Key Point 로봇 작업에서 안전과 효율의 충돌을 근본적으로 해결하는 새로운 학습 방식으로, 기존 실시간 수정 방식의 근본적인 한계를 정책 개선으로 극복한다.
핵심 요약
비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. 기존 실시간 안전 모듈(runtime shield)은 개별 행동을 즉시 수정하지만 정책 자체는 변하지 않아 반복된 불일치가 작업 진행을 막는 문제가 있다. 논문은 FailBank라는 4단계 자가 진화 프레임워크를 제시하여 실시간 피드백을 지속적인 정책 개선으로 전환한다. 전체 요약 8문장 읽기 → 016 12:11 ▲ 90 · 댓글 2 3D 세계의 이상을 찾아내는 AI 벤치마크 공개 3D 시뮬레이션 환경에서 부유하는 물체, 통과 가능한 벽, 맞지 않는 객체 등의 이상을 자동으로 감지하는 것이 중요해지고 있다. AI · 머신러닝 · WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
Key Point 멀티모달 AI가 3D 환경 내 시각적 추론과 행동 탐색을 동시에 수행해야 하는 실제적 요구를 측정하는 벤치마크로, AI 모델의 공간 이해와 의사결정 능력의 격차를 정량화한다.
핵심 요약
3D 시뮬레이션 환경에서 부유하는 물체, 통과 가능한 벽, 맞지 않는 객체 등의 이상을 자동으로 감지하는 것이 중요해지고 있다. 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA) 같은 멀티모달 AI 시스템이 이 작업을 자동화할 가능성을 보여주고 있다. 3D 세계 감시는 행동 능력(3D 환경을 탐색하며 이상을 체계적으로 찾기)과 시각 추론 능력(환경을 이해하고 이상 식별)의 긴밀한 결합이 필요하다. 전체 요약 8문장 읽기 → 017 21:11 ▲ 35 · 댓글 1 로봇이 실패를 스스로 극복하게 해주는 '수첩' 기법 로보틱스의 핵심 과제는 다양한 작업과 환경에서 조작 능력을 발휘하는 것인데, 비전-언어-행동(VLA) 모델은 실행 중 실패를 진단하고 행동을 적응시켜야 할 때 어려움을 겪는다. AI · 머신러닝 · Recursive Harness Distillation across Agents for Robot Manipulation
Key Point 로봇 조작의 실패 대응을 자동화하는 방법론이 제시되어, 다양한 환경의 로봇 작업 신뢰도를 크게 높일 수 있는 경로를 보여준다.
핵심 요약
로보틱스의 핵심 과제는 다양한 작업과 환경에서 조작 능력을 발휘하는 것인데, 비전-언어-행동(VLA) 모델은 실행 중 실패를 진단하고 행동을 적응시켜야 할 때 어려움을 겪는다. 연구팀은 강한 에이전트가 약한 에이전트를 위해 경험을 '플레이북'으로 정제하고, 약한 에이전트의 실행 피드백으로 이를 반복 개선하는 '재귀적 하네스 증류(Recursive Harness Distillation)' 기법을 제안했다. 이 플레이북은 모델 파라미터를 업데이트하지 않고도 새로운 작업에서 누적된 개입 지식을 재사용하게 해준다. 전체 요약 6문장 읽기 → 018 22:26 ▲ 11 · 댓글 2 과거 정보 기억하는 로봇 제어 모델 'MemBodied' 제안 비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. AI · 머신러닝 · MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Key Point 과거 관찰 정보가 필요한 로봇 제어 작업에서 컨텍스트 확장의 비효율성을 해결하면서 매개변수 효율성까지 확보한 새로운 메모리 메커니즘이다.
핵심 요약
비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. 과거 관찰을 컨텍스트에 포함하면 해결되지만 컨텍스트 크기 증가와 추론 지연이라는 문제가 발생한다. MemBodied는 고정 크기의 기억 구조로, 상호작용을 기록하는 연관 상태(associative state)와 초기 장면을 보존하는 에피소드 앵커(episode anchor) 두 개 요소로 구성된다. 전체 요약 8문장 읽기 →