쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 22일 (일)까지 5067건
40건 · "조작 작업"조건 지우기 ×
001 18:11 ▲ 50 · 댓글 4 로봇이 생각을 행동으로 이어가는 법, 새로운 벤치마크로 진단한다 로봇의 embodied intelligence는 과거 관찰에 기반한 인지 추론, 정확한 신체 실행, 환경 피드백을 통한 두 능력의 조합 등 세 가지 보완적 능력이 필요하다. AI · 머신러닝 · Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation
Key Point 로봇 조작 작업에서 'AI가 생각하되 행동도 정확해야 한다'는 문제를 측정하는 첫 체계적 도구이며, 현재 최고 성능 모델조차 Mind2Act 작업에서 12%만 성공해 로봇 intelligence의 근본적 한계를 드러낸다.
핵심 요약
로봇의 embodied intelligence는 과거 관찰에 기반한 인지 추론, 정확한 신체 실행, 환경 피드백을 통한 두 능력의 조합 등 세 가지 보완적 능력이 필요하다. 기존 벤치마크는 추론과 실행을 같은 작업으로 평가하거나 별개로 평가해 실패 원인이 추론·실행·조합 중 어디서 비롯되는지 알 수 없다. Mind2Act World는 5개 실제 응용 영역에서 30개 시뮬레이션 조작 작업으로 이루어진 진단 벤치마크로, 각 작업은 3개 난이도와 2개 장면(Clean, Random) 설정을 가져 총 180개 구성을 제공한다. 전체 요약 10문장 읽기 → 002 15:11 ▲ 42 · 댓글 3 API만 열린 로봇 모델, 접촉력 감지로 조작 능력 70배 향상 프론티어 멀티모달 모델은 이미지만으로 로봇을 제어할 수 있지만, 많은 조작 작업에서 필요한 접촉력(contact force)은 이미지에 드러나지 않는 문제가 있다. AI · 머신러닝 · ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Key Point 접촉력 센싱을 통해 순수 비전 기반의 로봇 제어를 넘어, 실제 조작 작업이 가능한 단계로 도약하는 기술로, 고정된 대형 모델의 활용 범위를 대폭 확장한다.
핵심 요약
프론티어 멀티모달 모델은 이미지만으로 로봇을 제어할 수 있지만, 많은 조작 작업에서 필요한 접촉력(contact force)은 이미지에 드러나지 않는 문제가 있다. ForceHarness는 파인튜닝이나 학습 데이터 없이 고정된 API 모델이 힘을 활용하도록 하는 하네스(harness) 시스템이다. 첫째 과제는 접촉이 API 모델의 응답 속도보다 빠르게 변하므로, 모델 아래에서 독립적으로 힘을 제어하는 자가-종료 프리미티브(self-terminating force primitives)를 구현해 접촉 이벤트에서 반환한다. 전체 요약 7문장 읽기 → 003 21:11 ▲ 36 · 댓글 2 550억 파라미터 로봇 AI, 10개 샘플로 소형 모델 50개 능가 Vision-Language-Action(VLA) 모델인 ScaleVLA는 552억 파라미터 규모의 DeepSeek-V4.1-Flash 백본에 훈련 가능한 액션 DiT를 연결해 로봇 제어 성능을 대폭 향상시켰다. 기타 · ScaleVLA: Scaling Vision-Language-Action Models to 552 Billion Parameters
Key Point 대규모 언어 모델의 스케일이 로봇 학습에 직접적으로 얼마나 효과가 있는지를 체계적으로 증명한 연구로, 로봇 제어 분야의 모델 아키텍처 설계 방향에 영향을 미칠 수 있기 때문이다. ai
핵심 요약
Vision-Language-Action(VLA) 모델인 ScaleVLA는 552억 파라미터 규모의 DeepSeek-V4.1-Flash 백본에 훈련 가능한 액션 DiT를 연결해 로봇 제어 성능을 대폭 향상시켰다. 2억~552억 파라미터 규모의 VLM들을 동일한 훈련 환경에서 비교한 결과, 샘플 효율성에서 10개 시연만으로도 20억 파라미터 모델이 50개를 필요로 할 때 도달하는 성능(87.8% vs 85.6%)을 초과했다. 일반화 능력 평가에서 LIBERO-PRO 성공률이 45.1%에 도달했으며, 이는 소형 백본의 최대 성공률(31.3%)을 크게 상회한다. 전체 요약 6문장 읽기 → 004 18:11 ▲ 10 · 댓글 2 양팔 조종 + 이동형 로봇을 위한 데이터 수집 시스템 HALO 양팔 동작과 로봇 이동을 함께 학습하는 모바일 조작 로봇의 학습 데이터를 효율적으로 수집하는 HALO 시스템을 소개했다. 하드웨어 · 시스템 · HALO: Human-Aligned Data Collection for WhoLe-body MObile Manipulation
Key Point 기존 데이터 수집의 속도와 품질 문제를 동시에 해결하면서 복잡한 양팔-이동 로봇 학습의 현실적 경로를 보여준다.
핵심 요약
양팔 동작과 로봇 이동을 함께 학습하는 모바일 조작 로봇의 학습 데이터를 효율적으로 수집하는 HALO 시스템을 소개했다. 기존 인터페이스는 직접 제어, 인지-행동 정렬, 자연스러운 이동성 중 하나를 포기해야 하는 트레이드오프가 있었다. HALO는 저항 작은 플랫폼 위에서 키네스틱 티칭으로 로봇 팔을 조종하면서 자연스럽게 이동할 수 있게 설계했다. 전체 요약 6문장 읽기 → 005 15:11 ▲ 26 · 댓글 2 로봇 손가락 조작, 앞선 시각 감각으로 성공률 11% 높였다 정교한 손가락 조작을 위해 로봇이 장면과 손의 공간 변화를 미리 예측해야 하는데, 기존 방식은 명시적 미래 예측에 의존했다. AI · 머신러닝 · DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
Key Point 로봇이 손가락 관절의 복잡한 움직임을 미리 예측하는 방식이 기존 대비 단순화되면서, 실제 환경에서 정교한 조작 작업의 성공률이 크게 올랐다.
핵심 요약
정교한 손가락 조작을 위해 로봇이 장면과 손의 공간 변화를 미리 예측해야 하는데, 기존 방식은 명시적 미래 예측에 의존했다. DexForesight는 세계 모델을 정책의 잠재 공간에 주입해 공간 예측을 암묵적으로 학습하는 프레임워크다. 오프라인 장면 깊이 정보, 손 기하학, 시연 궤적으로부터 행동 조건부 세계 모델을 학습한다. 전체 요약 8문장 읽기 → 006 12:11 ▲ 56 · 댓글 3 로봇이 시뮬레이션으로 배우는 조작 기술, 한 번의 시연만으로 기존 정책 학습은 네트워크 가중치에 기술을 저장해 학습한 환경에 종속되지만, 인컨텍스트 학습(ICL)은 이 문제를 피합니다. AI · 머신러닝 · World In-Context Learning for Agentic Robot Manipulation
Key Point 한 번의 시연으로 로봇이 50개 이상의 조작 작업을 배울 수 있으며, 기존 학습 방식을 20포인트 이상 앞지르는 새로운 로봇 학습 패러다임입니다.
핵심 요약
기존 정책 학습은 네트워크 가중치에 기술을 저장해 학습한 환경에 종속되지만, 인컨텍스트 학습(ICL)은 이 문제를 피합니다. 다만 기존 ICL은 다른 장면의 시연이 현재 로봇의 환경 피드백을 제공하지 못해 성능이 낮았습니다. 연구팀은 에이전트가 배우는 내용이 시각 외형이 아닌 작업 단계와 객체 역할 같은 의미론적 정보라는 점을 발견했습니다. 전체 요약 9문장 읽기 → 007 18:12 ▲ 102 · 댓글 2 손가락 감각 센서 통합하는 택타일 기초 모델 공개 복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. AI · 머신러닝 · Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
Key Point 여러 종류의 촉각 센서를 하나의 모델로 통합하면 로봇의 손가락 조작 능력이 비약적으로 향상되는데, 이는 산업용 로봇과 지능형 로봇 개발에 필수적인 기술이다.
핵심 요약
복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. 압저항식(piezoresistive), 자기식(magnetic), 시각-촉각식(visuotactile) 센서 등 서로 다른 센서 데이터를 하나의 통일된 표현으로 변환하고 새로운 센서 유형으로 확장 가능하다. 생성된 택타일 토큰은 확산 정책(diffusion policy)부터 π₀.₅, LingBot-VLA 같은 비전-언어-행동(VLA) 모델까지 다양한 정책 모델에 플러그 앤 플레이 방식으로 통합되어 조작 능력을 향상시킨다. 전체 요약 6문장 읽기 → 008 12:54 ▲ 10 · 댓글 2 로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. AI · 머신러닝 · PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
Key Point 대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다. 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다. 전체 요약 7문장 읽기 → 009 15:11 ▲ 60 · 댓글 2 로봇 조작, 인코더 없는 시각-언어 모델로 더 정확하게 기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. AI · 머신러닝 · From Pixels to Actions - Towards Native Vision-Language-Action Policies
Key Point 로봇 팔 같은 구체화된 제어 시스템이 최종 표현이 아닌 중간 단계의 시각 신호에서 더 정확한 정보를 얻을 수 있다는 발견은 로봇 공학과 구체화 AI의 아키텍처 설계 원칙을 바꿀 가능성이 있다.
핵심 요약
기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. NEO-VLA는 인코더 없는 구조의 비전-언어-액션 프레임워크로, 이미지를 경량 패치 합성곱 층으로 토큰화한 뒤 백본 전체에서 언어와 함께 진화하도록 설계했다. 흐름-매칭 액션 전문가가 백본의 다양한 깊이에서 명령 조건부 시각 표현에 접근할 수 있어, 최종 시각 표현뿐 아니라 계산 계층 전체의 정보를 활용한다. 전체 요약 6문장 읽기 → 010 12:11 ▲ 104 · 댓글 2 로봇 범용 작업 위한 대규모 비전-언어 모델, 실제 얼마나 쓸 수 있나 로봇이 장면을 이해하고 행동하며 과제 조건을 충족하려면 어떤 능력이 필요한지 평가하기 위해 '구현된 에이전트 아레나'라는 벤치마크를 소개한다. AI · 머신러닝 · Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena
Key Point 현재 최첨단 VLM 에이전트들이 로봇 조작 작업에서 구체적으로 어떤 한계를 보이는지, 폐쇄형과 오픈 모델의 성능 격차가 어디서 비롯되는지 체계적으로 밝혔다.
핵심 요약
로봇이 장면을 이해하고 행동하며 과제 조건을 충족하려면 어떤 능력이 필요한지 평가하기 위해 '구현된 에이전트 아레나'라는 벤치마크를 소개한다. 이 벤치마크는 기하학, 공간 추론, affordance, 작업 계획, 조작 5개 영역을 평가하며, 32개 기존 데이터셋과 카메라·동작·깊이·스케일 추정을 위한 새로운 168개 케이스 GeoProbe로 총 1,000개 사례를 구성한다. 10개 VLM 에이전트를 평가한 결과, 폐쇄형 가중치 모델들이 5개 영역 모두에서 앞섰으나 오픈 가중치 VLM은 공간 추론은 유용하지만 계획과 조작 성공률이 훨씬 낮았다. 전체 요약 8문장 읽기 → 011 00:11 ▲ 19 · 댓글 2 4B 모델로 컴퓨터 조작 에이전트 SOTA 달성 Mage-VL-Cowork는 GUI 상호작용과 코드·터미널 실행을 하나의 정책으로 통합하는 4B 파라미터 하이브리드 컴퓨터 사용 에이전트(CUA)다. AI · 머신러닝 · Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses
Key Point 파라미터 수가 작으면서도 복잡한 컴퓨터 조작 작업을 수행할 수 있는 에이전트 개발 방법이 제시되어, 온디바이스 AI 활용과 효율적인 에이전트 학습의 새로운 가능성을 보여준다.
핵심 요약
Mage-VL-Cowork는 GUI 상호작용과 코드·터미널 실행을 하나의 정책으로 통합하는 4B 파라미터 하이브리드 컴퓨터 사용 에이전트(CUA)다. 일반적인 멀티모달 정렬 체크포인트에서 출발해 미드트레이닝·감독학습·강화학습을 포함한 5단계 점진적 교육 과정을 거친다. Mage-CUA-Forge는 작업별 에이전트 구성을 재사용 가능한 스킬 조건부 생성 워크플로우로 대체하여 293,806개의 데스크톱·웹 작업을 6,915개 스킬로 합성한다. 전체 요약 7문장 읽기 → 012 15:11 ▲ 27 · 댓글 2 로봇 조작에 계층적 미래 예측을 더하다 로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. AI · 머신러닝 · HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
Key Point 로봇이 복잡한 작업을 수행할 때 단기 환경 변화와 장기 목표를 동시에 고려하는 방식이 어떻게 작동하는지 보여주는 새로운 기술 진전으로, 로봇 자동화 분야의 실제 구현 가능성을 높인다.
핵심 요약
로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. 이를 개선하기 위해 HiFOR은 계층적 미래 예측과 행동 유도 월드 검색을 결합한 프레임워크를 제안한다. 계층적 미래 예측은 단기 상태 변화, 의미론적 마일스톤, 최종 목표 상태를 계층적 의존성 마스크(HDM)를 통해 함께 예측해 시간축 간 의존성을 설정한다. 전체 요약 6문장 읽기 → 013 18:11 ▲ 22 · 댓글 2 LLM에 로봇 제어 패널만 달면 VLA 모델을 이긴다 로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. AI · 머신러닝 · RoboHarness: A Simple Harness Outperforms VLA and World Action Models
Key Point 대규모 로봇 학습 데이터 없이도 기존 LLM으로 로봇 제어가 가능하다는 것을 보였기에, 구체화된 AI 개발의 패러다임 전환 가능성을 시사한다.
핵심 요약
로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. 연구팀은 RoboHarness라는 로봇 제어 인터페이스를 제시해, LLM이 시각-기하학적 제어판을 통해 직접 로봇 동작을 이해하고 호출할 수 있게 했다. VLA 모델 대신 코딩 능력이 있는 LLM 에이전트에 간단한 로봇 장치만 제공하면, 로봇 조작 작업을 수행할 수 있다는 가정에 기반한다. 전체 요약 5문장 읽기 → 014 12:11 ▲ 22 · 댓글 2 비디오 생성 모델의 카메라 흔들림 문제 해결 프레임워크 제안 확산 기반 비디오 생성 모델(VGM)은 시각적으로 그럴듯한 영상을 만들지만, 카메라 시점 이동(ego-motion)이 긴 구간에서 흔들리는 문제가 있다. AI · 머신러닝 · CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion
Key Point 비디오 생성 모델이 장시간 일관된 카메라 움직임을 유지하는 방법론을 제시해 실제 로봇 작업 성능까지 향상시킨 기술적 진전을 보여주기 때문이다.
핵심 요약
확산 기반 비디오 생성 모델(VGM)은 시각적으로 그럴듯한 영상을 만들지만, 카메라 시점 이동(ego-motion)이 긴 구간에서 흔들리는 문제가 있다. CausalAlign은 두 가지 요소로 구성된 인과 정렬 프레임워크로, 먼저 선형 프로브와 인과적 개입을 통해 VGM 내에서 ego-motion이 어떻게 표현·사용·유지되는지 진단한다. 진단 결과 노이즈 제거 과정에서 ego-motion 표현이 상승했다가 하강하는 패턴을 발견했다. 전체 요약 7문장 읽기 → 015 12:11 ▲ 28 · 댓글 2 로봇 모방학습을 위한 다양한 시연 자동 발굴 기법 로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. AI · 머신러닝 · DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning
Key Point 로봇 모방학습의 데이터 커버리지 문제를 해결하는 실용적 방법론으로, 시뮬레이션과 실제 로봇 모두에서 성공률을 크게 향상시키는 구체적 성과를 보여준다.
핵심 요약
로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. 연구팀이 강화학습(RL)을 배포 가능한 제어기가 아닌 하위 시각-운동 모방학습용 데이터 생성기로 활용하는 접근법을 제시했다. 여러 성공 해결책이 단일 방식을 반복 수집할 때보다 더 넓은 범위의 성공적 궤적을 포괄한다는 게 핵심 가정이다. 전체 요약 8문장 읽기 → 016 12:11 ▲ 13 · 댓글 2 카메라 영상과 깊이만으로 물체 자세 파악하는 F2G-Pose 공개 RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. AI · 머신러닝 · F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
Key Point 라벨이나 사전 학습된 모델 없이 실시간으로 물체 자세를 복구할 수 있는 효율적인 방법이 로봇 조작과 3D 비전 응용에 큰 영향을 미칠 수 있기 때문이다.
핵심 요약
RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. 기존 방식은 중간 구조 기반 방법은 오류 전파에 취약하고, 확산 모델은 높은 추론 지연 시간과 복잡한 후처리 과정이 필요했다. F2G-Pose는 단일 RGB-D 관찰에서 한 번의 순전파로 물체 자세·실제 크기·완성된 형태를 동시에 예측하는 실시간 직접 예측 프레임워크다. 전체 요약 8문장 읽기 → 017 21:11 ▲ 37 · 댓글 2 로봇 정책 학습의 미래 프레임 예측 성능 개선 World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. AI · 머신러닝 · Self-Distilling Future Video Representations for World Action Models
Key Point 미래 프레임 표현을 한 단계로 정확히 예측하는 기술이 로봇의 장기 작업 수행과 인간 시연 영상 학습 성능을 크게 높이기 때문에, 로봇 학습의 실용화를 앞당기는 중요한 진전이다.
핵심 요약
World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. 이 설계에서 액션 예측이 미래 표현의 품질에 직접 영향을 받기 때문에, 노이즈로부터 단일 단계로 미래 표현 품질을 높이는 것이 중요하다. 논문은 FRED(Future REpresentation learning via self-Distillation with temporal context) 프레임워크를 제시한다. 전체 요약 9문장 읽기 → 018 18:11 ▲ 58 · 댓글 2 로봇이 자신의 학습 방식까지 개선하는 방법 재귀적 자기개선(RSI)은 시스템이 행동뿐 아니라 개선 과정 자체를 향상시키는 개념으로, 디지털 에이전트에서는 코드 재작성과 테스트로 구현되고 있다. AI · 머신러닝 · Toward Recursive Self-Improvement in Physical AI
Key Point 로봇이 단순히 작업을 더 잘하는 데 그치지 않고 학습하는 방식 자체를 개선하는 자기개선 시스템의 원리와 현실적 제약을 종합적으로 다루는 논문으로, 물리 AI의 다음 단계를 엿볼 수 있다.
핵심 요약
재귀적 자기개선(RSI)은 시스템이 행동뿐 아니라 개선 과정 자체를 향상시키는 개념으로, 디지털 에이전트에서는 코드 재작성과 테스트로 구현되고 있다. 물리적 세계의 로봇에 이를 적용하려면 비용이 큰 시행착오를 통해 불완전한 정보에서 학습하면서, 변화하는 환경과 돌이킬 수 없는 결과를 고려해야 한다. 논문은 로봇 학습 내에서 RSI의 위치를 정의하고, 로봇 능력 개선에서 그 과정 개선까지의 경로를 추적한다. 전체 요약 7문장 읽기 → 019 03:11 ▲ 22 · 댓글 1 로봇 조작에 코드 기반 계획을 결합한 새로운 AI 모델 기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. AI · 머신러닝 · Agentic World Action Models
Key Point 로봇 조작 AI에서 시각 예측과 코드 기반 계획의 gap을 처음으로 메운 모델이며, 재사용 가능한 기술 라이브러리와 자동 학습 파이프라인을 제시해 실제 로봇 시스템의 확장성을 높일 수 있는 방법을 제안한다.
핵심 요약
기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. 코드 기반 계획 로봇공학은 재사용 가능한 기술을 제공하지만 물리 역학의 예측 기반이 약해 현실과의 연결 고리가 약했다. 이를 해결하기 위해 AW-0이라는 에이전트형 세계 행동 모델을 제시했으며, 코드 기반 계획을 영상·행동 예측과 통합한다. 전체 요약 9문장 읽기 → 020 00:11 ▲ 28 · 댓글 1 로봇 자가학습 에이전트로 장기 조작 과제 정복 Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. AI · 머신러닝 · From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
Key Point 로봇이 여러 단계의 조작 작업에서 과거 경험을 학습하며 스스로 개선되는 기법이 실제로 성능을 높이는 방식과 수치를 제시했다.
핵심 요약
Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. 부분 관측 가능성과 실행 오류가 시간에 따라 누적되며, 기존 방식은 기초 모델에 메모리를 추가하거나 고수준 계획과 저수준 실행을 분리하는 계층적 구조로 이를 해결해왔다. 연구팀은 고수준 VLM을 수정 가능한 하네스(harness)를 통해 로봇 에이전트로 구성해 작업 맥락을 유지하고 실행 경험으로 계획을 개선하는 접근법을 제시했다. 전체 요약 6문장 읽기 → 021 15:11 ▲ 155 · 댓글 2 한 손 조작 넘어 양손 협력까지, 범용 로봇 제어 모델 DONIC 기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. AI · 머신러닝 · DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations
Key Point 로봇이 두 손을 동시에 협력시켜 복잡한 조작 작업을 할 수 있도록 하는 첫 범용 모델로, 인간의 시연 영상만으로 학습할 수 있다는 점이 실용적 의미를 갖는다.
핵심 요약
기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. 연구팀은 첫 범용 양손 추적기 DONIC과 229개 물체를 포함한 1,575개 시퀀스의 양손 상호작용 데이터셋 BiHOI를 공개했다. DONIC은 근처정책최적화(PPO)와 행동복제를 결합하고, 성공한 실행을 재훈련 데이터로 재활용하는 피드백 루프를 사용한다. 전체 요약 6문장 읽기 → 022 15:11 ▲ 22 · 댓글 2 멀티모달 에이전트, 로봇 제어로 확장할 때 뭐가 달라지나 멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. AI · 머신러닝 · Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
Key Point 컴퓨터 조작 AI와 로봇 제어의 근본적 차이를 정의하고, 로봇 에이전트 개발 시 현재 벤치마크가 놓친 부분을 지적해 향후 평가 방식 개선의 방향을 제시한다.
핵심 요약
멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. 멀티모달 임보디드 에이전트(MMEA)를 정의하면, 멀티모달 작업 추론을 물리 동작과 결합하고 그 결과 피드백으로 결정을 수정하는 목표 지향 시스템이다. 논문은 PAPAV라는 통합 프레임워크를 제시하며, 인식(Perceive)·예측(Anticipate)·계획(Plan)·행동(Act)·검증(Verify)의 5가지 반복 기능으로 세 시스템을 비교한다. 전체 요약 6문장 읽기 → 023 21:11 ▲ 23 · 댓글 2 로봇 가치 모델 평가 벤치마크 RoboValue 공개 로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. AI · 머신러닝 · RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models
Key Point 로봇 가치 모델의 신뢰성을 체계적으로 평가하기 위한 첫 번째 통합 벤치마크로, 기존 평가 방식의 한계를 드러내고 정책 학습의 피드백 품질 개선 방향을 제시한다.
핵심 요약
로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. 시뮬레이션과 실제 환경을 통합한 RoboValue 벤치마크는 네 가지 능력 차원을 평가한다: 작업-상태 이해, 시간 진행 모니터링, 실패 및 회복 추론, 가치 일관성. RoboValue-Dataset은 15개 시뮬레이션 및 20개 실제 로봇 조작 작업을 포함하며, 전문가 시연 데이터와 세밀한 평가용 주석 데이터를 제공한다. 전체 요약 6문장 읽기 → 024 18:11 ▲ 17 · 댓글 2 LLM 에이전트의 물리적 자기개선, 어떻게 가능할까 LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. AI · 머신러닝 · Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
Key Point 로봇 조작 같은 물리적 환경에서 LLM 에이전트가 스스로 개선되는 원리를 정량 분석해, 대규모 언어 모델의 실제 강화학습 적용 가능성을 예측할 수 있는 기초를 제공한다.
핵심 요약
LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. PhysRSI-eval이라는 평가 지표를 도입해 5개 축(첫 시도 성능, 효율성, 성공률, 예산, 실패 후 개선)으로 물리적 RSI를 정량화했다. 18개 로봇 조작 작업에서 다양한 VLM(시각 언어 모델)을 같은 상호작용 예산 내에서 평가했으며, 공개 벤치마크 점수가 비슷해도 개선 양상은 크게 다를 수 있음을 확인했다. 전체 요약 7문장 읽기 → 025 15:11 ▲ 111 · 댓글 2 로봇 집단의 경험을 공유해 정책 학습 향상 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. AI · 머신러닝 · Learning from Fleet Experience: A Collective Learning Paradigm for Robots
Key Point 로봇 집단 학습이 전문가 개입 없이 배치된 환경에서 정책을 개선하는 실질적 방법을 제시하며, 규모가 커질수록 성능이 향상되는 스케일러빌리티를 보여준다.
핵심 요약
로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다. 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다. 전체 요약 8문장 읽기 → 026 03:11 ▲ 130 · 댓글 10 마이크로 단위 3D 정밀 제어, 오픈소스로 누구나 만든다 오픈소스 마이크로 매니퓰레이터 프로젝트는 저가의 3축 XYZ 모션 제어 플랫폼으로 50nm 단위 정밀도를 달성하며 광학 정렬, 전자 부품 검사, 현미경 응용에 사용된다. 하드웨어 · 시스템 · Open MicroManipulator – A sub-micrometer 3D motion control plattform
Key Point 저비용으로 마이크로미터 단위 정밀도를 필요로 하는 광학, 전자공학, 미세 조작 작업을 독립적으로 구축할 수 있는 완전 오픈소스 솔루션이며, 세부 설계, 펌웨어, 제어 소프트웨어가 모두 공개되어 커스터마이징과 학습에 활용할 수 있다.
핵심 요약
오픈소스 마이크로 매니퓰레이터 프로젝트는 저가의 3축 XYZ 모션 제어 플랫폼으로 50nm 단위 정밀도를 달성하며 광학 정렬, 전자 부품 검사, 현미경 응용에 사용된다. 평행 운동학 구조와 미니어처 볼 조인트로 기계적 강성을 확보하고, 30kHz 폐루프 제어 스테핑 모터와 자성 기어링을 통해 저가 로터리 인코더 해상도를 30배 향상시킨다. USB 시리얼 인터페이스로 G-Code 명령을 지원하며 모션 플래닝 스택과 선형보간으로 부드럽고 정확한 경로 추종을 구현한다. 전체 요약 12문장 읽기 → 027 03:11 ▲ 10 · 댓글 4 로봇 에이전트의 제어 로직을 경험으로 직접 개선하는 EMHO 기존 임보디드 에이전트(로봇 에이전트) 개선은 모델 학습에 집중하는데, 계획과 도구 사용을 관리하는 '에이전트 하네스(harness)'는 수동으로 설계된다. AI · 머신러닝 · EMHO: EMbodied Agent Harness Optimization via Experience Traces
Key Point 모델을 동결한 채 에이전트 제어 로직만 경험으로 개선하는 접근이 실제로 작동하는지 보여주는 논문이며, 현재 고정된 프롬프트와 휴리스틱에 의존하는 로봇 시스템의 한계를 개선하는 경로를 제시한다.
핵심 요약
기존 임보디드 에이전트(로봇 에이전트) 개선은 모델 학습에 집중하는데, 계획과 도구 사용을 관리하는 '에이전트 하네스(harness)'는 수동으로 설계된다. 새로운 EMHO 프레임워크는 모델을 고정한 채 실행 궤적(execution trajectories)과 과거 하네스 기록을 분석해 하네스를 반복적으로 개선한다. EMHO는 프롬프트 수정을 넘어 에이전트가 진행상황을 모니터링하는 방식, 비전 도구 활용, 환경 이해(grounding), 실패 대응 방식까지 수정한다. 전체 요약 6문장 읽기 → 028 06:11 ▲ 146 · 댓글 39 로봇 물리 제어 위해 특화된 제미니 4 아르곤 공개 구글이 로봇공학 전문 대규모 언어 모델 제미니 4 아르곤을 발표했다. AI · 머신러닝 · Gemini 4 Argon for Robotics
Key Point 3D 물리 환경에서 로봇 제어·시뮬레이션·코드 생성을 통합적으로 처리하는 AI 모델의 등장으로, 로봇공학 개발의 전체 워크플로우가 단순화될 수 있는 전환점이 될 수 있다.
핵심 요약
구글이 로봇공학 전문 대규모 언어 모델 제미니 4 아르곤을 발표했다. 아르곤은 ERQA 벤치마크에서 순수 추론으로 87% 점수를 달성해 다른 모든 경쟁 모델을 능가한다. 보스턴 다이나믹스 스팟 로봇 제어, 로봇팔 조작 작업, 3D 환경 내 물체 배열 등 로봇공학 전주기에 적용 가능하다. 전체 요약 12문장 읽기 → 029 21:12 ▲ 11 · 댓글 2 인간의 촉각 데이터 500시간, 로봇 조작 성공률 22.5%→57.5% TouchScale은 500시간 분량의 인간 상호작용 시각·촉각 데이터셋으로, 단일 웨어러블 센서 장비로 통일되어 기록되었다. AI · 머신러닝 · TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning
Key Point 로봇 조작에 필요한 촉각 정보를 포함한 대규모 균질 데이터셋이 실제 작업 성공률을 2.5배 향상시켜, 구현화된 AI 시스템 개발의 데이터 기초가 어떻게 바뀌는지 보여준다.
핵심 요약
TouchScale은 500시간 분량의 인간 상호작용 시각·촉각 데이터셋으로, 단일 웨어러블 센서 장비로 통일되어 기록되었다. 각 기록은 정면 RGB-D 비디오, 손목 RGB 비디오, 양손 촉각 측정값이 시간 정렬되어 포함되며 약 2,000개의 사전 정의된 작업 설명을 아우른다. 기존 촉각 데이터와 달리 센서와 수집 절차가 고정되어 있어 데이터 규모의 영향을 명확히 분리할 수 있다. 전체 요약 8문장 읽기 → 030 12:11 ▲ 12 · 댓글 2 로봇 학습을 위한 GPU 병렬 멀티태스크 강화학습 프레임워크 GPU 병렬 시뮬레이션 환경에서 다양한 로봇 조작 작업을 효율적으로 학습·평가할 수 있도록 설계된 Hebero 벤치마크가 공개되었다. AI · 머신러닝 · A GPU-Parallel Framework for Heterogeneous Multi-Task Reinforcement Learning
Key Point 멀티태스크 강화학습에서 GPU 병렬 처리와 데모 기반 학습을 결합한 새로운 방법론이 실제 로봇까지 일반화되는 모습을 보여준다.
핵심 요약
GPU 병렬 시뮬레이션 환경에서 다양한 로봇 조작 작업을 효율적으로 학습·평가할 수 있도록 설계된 Hebero 벤치마크가 공개되었다. Hebero는 Isaac Lab 기반의 GPU 병렬 벤치마크로, 40개의 이질적인 작업 전체에 걸쳐 하나의 정책을 공동으로 학습하고 평가할 수 있다. 병렬 레플리카 수를 증가시키면 고정된 벽시계 시간 내에서 성공률이 향상되는 스케일링 효과가 확인되었다. 전체 요약 9문장 읽기 → 031 18:11 ▲ 18 · 댓글 2 LLM이 3D 로봇 부품 설계 자동화, 불완전한 모델도 복원 시뮬레이션에서 학습한 로봇 조작 정책을 현실 물체에 적용하려면 기하학적으로 정확한 관절형 3D 자산이 필수인데, 기존 메시 기반 방법은 학습 데이터 분포 밖의 물체나 손상된 메시에서 관절 정보 추론에 실패하곤 한다. AI · 머신러닝 · USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation
Key Point 불완전하거나 손상된 3D 모델에서도 로봇 시뮬레이션용 정확한 관절 정보를 자동으로 복원할 수 있어, 현실의 다양한 물체로 로봇 학습을 확장하는 병목이 해결된다.
핵심 요약
시뮬레이션에서 학습한 로봇 조작 정책을 현실 물체에 적용하려면 기하학적으로 정확한 관절형 3D 자산이 필수인데, 기존 메시 기반 방법은 학습 데이터 분포 밖의 물체나 손상된 메시에서 관절 정보 추론에 실패하곤 한다. USDCraft는 사전학습된 LLM이 부분적 기하 정보를 바탕으로 시뮬레이션 준비가 된 관절형 자산을 위한 프로그램을 작성·수정하도록 하는 프레임워크로, 작업별 파인튜닝이 필요 없다. 기하 소스 분석으로 메시를 관찰된 표면과 미지 공간을 구분하는 텍스트 설명으로 변환하고, 반복적 기하 재검증으로 각 프로그램 후보를 같은 형식으로 재인코딩해 불일치 지점을 찾아낸다. 전체 요약 5문장 읽기 → 032 18:30 ▲ 94 · 댓글 2 로봇 실시간 제어, 영상 메모리 19초 활용하면 성공률 63→79% 로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. AI · 머신러닝 · Long-WAM: Scaling the Context of World-Action Models
Key Point 로봇 제어에서 짧은 지연(107ms)로 19초 영상 메모리를 활용하면서 복잡한 조작 작업에서 대폭 높은 성공률을 달성한 실시간 배포 기술이기 때문이다.
핵심 요약
로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. Long-WAM은 실시간 제어 제약 속에서 인과적 세계-행동 모델의 맥락을 확장하기 위한 모델-시스템 프레임워크이다. 핵심 발견: 긴 히스토리에 접근하는 것과 실제로 사용하는 것은 다르며, 비디오 기초 모델이 자기회귀(AR) 방식으로 사전학습될 때 더 큰 이득이 난다. 전체 요약 12문장 읽기 → 033 18:33 ▲ 11 · 댓글 2 긴 작업의 진행률을 아는 게 왜 이렇게 어려울까 로봇 같은 embodied agent가 장기 작업을 수행할 때, 현재 프레임만으로는 얼마나 진행했는지 판단하기 어렵다는 문제를 '문맥 의존적 진행률 추정'으로 정의했다. AI · 머신러닝 · ProgressCompass: Embodied Progress Reward Models Are Lost Without the Right Context
Key Point 로봇 작업 완수 시 진행 상황을 정확히 추적하는 것이 단순히 현재 상황만으로는 불가능하다는 근본적인 문제를 드러내고, 범용 모델 활용으로 기존 시스템을 개선할 수 있는 실질적 해법을 제시하기 때문이다.
핵심 요약
로봇 같은 embodied agent가 장기 작업을 수행할 때, 현재 프레임만으로는 얼마나 진행했는지 판단하기 어렵다는 문제를 '문맥 의존적 진행률 추정'으로 정의했다. 기존 Progress Reward Models(PRMs)는 각 단계에서 작업 진행도를 점수화하는데, 장기 작업에서는 이전에 일어난 일들의 맥락이 필요하지만 대부분 현재 관찰만으로 작동한다. 연구팀이 24개 조작 작업 120 에피소드로 구성한 ContextProgress-Bench를 구축했으며, 상태 재호출(이전 정보가 현재 프레임에 없음), 순서 추적(단계들이 정해진 순서대로 진행), 반복 구분(비슷한 프레임이 다른 진행 단계에 나타남) 등 3가지 시나리오를 다룬다. 전체 요약 6문장 읽기 → 034 18:33 ▲ 27 · 댓글 2 인간 영상에서 로봇 정책 학습, 스펙트럼 분석으로 동작 전이 로봇 조작 정책 학습에는 대규모 실제 상호작용 데이터가 필요한데, 시연 수집이 비용이 크고 확장이 어렵다는 문제가 있다. AI · 머신러닝 · World Action Learning via Interaction-Centric Spectral Latent Guidance
Key Point 로봇 학습 데이터 수집 비용을 획기적으로 줄일 수 있는 기술로, 인간 동영상 활용이라는 실질적인 해결책을 제시하고 있다.
핵심 요약
로봇 조작 정책 학습에는 대규모 실제 상호작용 데이터가 필요한데, 시연 수집이 비용이 크고 확장이 어렵다는 문제가 있다. 1인칭 카메라 영상은 풍부한 인간 상호작용 경험을 담고 있지만, 프레임 재구성으로 추론한 동작이 카메라 움직임 같은 노이즈에 지배당하고 인간과 로봇의 시간 역학이 다르다는 두 가지 어려움이 있다. WING(World Action Learning via INteraction-Centric Spectral Latent Guidance) 프레임워크는 1인칭 영상의 상호작용 지식을 로봇 정책으로 전이한다. 전체 요약 7문장 읽기 → 035 09:11 ▲ 15 · 댓글 2 로봇 비전-언어 모델의 실시간 피드백 학습으로 안전성과 성공률 동시 개선 비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. AI · 머신러닝 · Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models
Key Point 로봇 작업에서 안전과 효율의 충돌을 근본적으로 해결하는 새로운 학습 방식으로, 기존 실시간 수정 방식의 근본적인 한계를 정책 개선으로 극복한다.
핵심 요약
비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. 기존 실시간 안전 모듈(runtime shield)은 개별 행동을 즉시 수정하지만 정책 자체는 변하지 않아 반복된 불일치가 작업 진행을 막는 문제가 있다. 논문은 FailBank라는 4단계 자가 진화 프레임워크를 제시하여 실시간 피드백을 지속적인 정책 개선으로 전환한다. 전체 요약 8문장 읽기 → 036 06:11 ▲ 13 · 댓글 2 로봇 세계 모델로 복합 작업 학습을 자동화하다 로봇 조작 작업에서 재사용 가능한 기술을 여러 조합으로 활용할 때, 추가 시연을 통한 개선이 비용이 많이 드는 문제를 해결하는 ROBOCOACH 프레임워크를 제시했다. AI · 머신러닝 · RoboCoach: World Models as Active Coaches for Compositional Robot Skills
Key Point 세계 모델로 상상된 실패를 감지해 학습 데이터를 효율적으로 선택하는 방식으로, 로봇이 자동으로 어떤 기술부터 개선할지 결정할 수 있게 하는 방법을 보여준다.
핵심 요약
로봇 조작 작업에서 재사용 가능한 기술을 여러 조합으로 활용할 때, 추가 시연을 통한 개선이 비용이 많이 드는 문제를 해결하는 ROBOCOACH 프레임워크를 제시했다. 세계 모델 기반의 코칭 시스템으로, 상상된 실패를 감지해 어떤 기술을 학습할지, 어느 전문가 모델을 업데이트할지를 자동으로 결정한다. Route-Imagine-Diagnose-Improve(RIDI) 루프는 공유 액션-조건부 세계 모델인 COACHWORLD 내에서 재사용 가능한 기술 전문가들을 실행하고, 진행 판단자가 실패하는 첫 번째 부작업을 기록한다. 전체 요약 7문장 읽기 → 037 22:26 ▲ 11 · 댓글 2 과거 정보 기억하는 로봇 제어 모델 'MemBodied' 제안 비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. AI · 머신러닝 · MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Key Point 과거 관찰 정보가 필요한 로봇 제어 작업에서 컨텍스트 확장의 비효율성을 해결하면서 매개변수 효율성까지 확보한 새로운 메모리 메커니즘이다.
핵심 요약
비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. 과거 관찰을 컨텍스트에 포함하면 해결되지만 컨텍스트 크기 증가와 추론 지연이라는 문제가 발생한다. MemBodied는 고정 크기의 기억 구조로, 상호작용을 기록하는 연관 상태(associative state)와 초기 장면을 보존하는 에피소드 앵커(episode anchor) 두 개 요소로 구성된다. 전체 요약 8문장 읽기 → 038 21:11 ▲ 24 · 댓글 3 로봇 조작 실패 복구하는 AI 정책 프레임워크 공개 로봇 팔 조작 중 계획이 틀어지면 성능이 급격히 떨어지는 Vision-Language-Action(VLA) 정책의 문제를 해결하는 CARE 프레임워크를 개발했다. AI · 머신러닝 · CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies
Key Point 로봇 조작 작업의 안정성을 현저히 높이는 새로운 기법으로, 산업용 로봇이나 자동화 시스템의 신뢰도 문제를 실질적으로 개선할 수 있다.
핵심 요약
로봇 팔 조작 중 계획이 틀어지면 성능이 급격히 떨어지는 Vision-Language-Action(VLA) 정책의 문제를 해결하는 CARE 프레임워크를 개발했다. 실제 실패 사례를 수집해 그 패턴을 학습하고, 이를 바탕으로 대표적 실패 상황과 복구 방법을 합성해 훈련시킨다. 추론 시 3D 모니터링으로 실패를 감지하면 작업 진행도를 유지하면서 단계별로 미세 조정하거나 다시 시도한다. 전체 요약 5문장 읽기 → 039 16:18 ▲ 84 · 댓글 3 로봇 기초모델, 3D 공간 이해로 조작 정확도 높이다 기존 로봇 기초모델은 언어-비전-행동 모델(VLA)이나 세계-행동 모델(WAM)을 기반하지만 3D 공간 정보를 직접 학습하지 않아 로봇 시연 데이터에만 의존했다. AI · 머신러닝 · Grounded Action Model: 3D Grounding as a Foundation for Robotics
Key Point 로봇 조작 작업에서 객체 위치와 기하학 정보를 명시적으로 모델링함으로써 일반화 능력을 크게 개선한 새로운 아키텍처 패러다임으로, 실제 로봇 배포의 신뢰성을 높이는 핵심 진전입니다.
핵심 요약
기존 로봇 기초모델은 언어-비전-행동 모델(VLA)이나 세계-행동 모델(WAM)을 기반하지만 3D 공간 정보를 직접 학습하지 않아 로봇 시연 데이터에만 의존했다. Grounded Action Models(GAM)은 3D 공간 정보를 명시적으로 포함한 새로운 로봇 기초모델로, 언어·포인트·박스 프롬프트 등으로 입력받은 후 공유 객체 표현으로 변환해 행동을 예측한다. 이 표현은 목표 대상의 시각 특징과 기하학적 정보를 담으며 로봇 상태 이력과 함께 멀티스트림 트랜스포머로 처리된다. 전체 요약 6문장 읽기 → 040 16:18 ▲ 27 · 댓글 3 인간 영상을 로봇 학습 데이터로 변환하는 'HuRo' 파이프라인 인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. AI · 머신러닝 · HuRo: Robotizing Human Videos for Scalable VLA Pretraining
Key Point 저비용 인간 영상 데이터로 로봇 비전-언어 에이전트를 학습시킬 수 있는 스케일러블한 솔루션을 제시하며, 구체적 성능 개선 수치가 실용성을 입증한다.
핵심 요약
인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. 4가지 실제 조작 작업에서 로봇화된 사전학습 데이터량을 늘리자 작업 완료율이 51.5%에서 80.3%로 증가했고, 공간·시각 변화에 대한 외삽 완료율도 34.9%에서 72.2%로 향상됐다. 시각적 로봇화는 분포 밖 상황에 대한 강건성을 높였으며, 행동 재타겟팅을 포함한 엔드투엔드 사전학습이 시각 정보만 활용한 전이 학습을 앞도했다.