쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
53건 · "VLA"조건 지우기 ×
001 18:12 ▲ 102 · 댓글 2 손가락 감각 센서 통합하는 택타일 기초 모델 공개 복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. AI · 머신러닝 · Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
Key Point 여러 종류의 촉각 센서를 하나의 모델로 통합하면 로봇의 손가락 조작 능력이 비약적으로 향상되는데, 이는 산업용 로봇과 지능형 로봇 개발에 필수적인 기술이다.
핵심 요약
복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. 압저항식(piezoresistive), 자기식(magnetic), 시각-촉각식(visuotactile) 센서 등 서로 다른 센서 데이터를 하나의 통일된 표현으로 변환하고 새로운 센서 유형으로 확장 가능하다. 생성된 택타일 토큰은 확산 정책(diffusion policy)부터 π₀.₅, LingBot-VLA 같은 비전-언어-행동(VLA) 모델까지 다양한 정책 모델에 플러그 앤 플레이 방식으로 통합되어 조작 능력을 향상시킨다. 전체 요약 6문장 읽기 → 002 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 003 18:11 ▲ 92 · 댓글 3 로봇 조작을 위한 공간-언어-행동 통합 모델 SLA 공개 로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다. AI · 머신러닝 · SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
Key Point 로봇이 현실의 다양한 상황에서 물체를 다루도록 하려면 시각과 행동뿐 아니라 공간 감각까지 기초 모델 단계에서 학습해야 하는데, SLA는 이를 실제 로봇 데이터 규모의 연속 학습으로 처음 해결한 접근이다.
핵심 요약
로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다. 공간 이해를 전이 가능한 기초 모델 능력으로 발전시키기 위해 연구팀은 SLA(Spatial-Language-Action Model)를 개발했으며, 지속적 사전학습 중 암묵적 공간 정렬을 확장하고 후속 작업 단계에서도 유지한다. SLA는 사전학습된 pi05 정책에서 시작하여 행동 예측과 중간 시각 임베딩 및 고정된 3D 인지 모델의 공간 표현 간 정렬을 공동으로 최적화한다. 전체 요약 8문장 읽기 → 004 18:13 ▲ 14 · 댓글 2 인간 시연으로 로봇 정책 적응 가능하게한 H2RB 프레임워크 사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. AI · 머신러닝 · Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs
Key Point 로봇 정책 미세조정 시 비용이 많이 드는 로봇 데이터 대신 수집이 쉬운 인간 시연을 활용할 수 있는 실질적 방법을 제시하기 때문이다.
핵심 요약
사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. 인간 시연은 수집이 훨씬 쉽지만, VLA가 주로 로봇 데이터로 사전학습된 경우 인간-로봇 embodiment 차이가 크면 직접 활용하기 어렵다. H2RB(Human-To-Robot Bridge)는 쌍을 이루지 않은 인간과 로봇 시연으로부터 사전학습된 VLA 정책을 적응시키는 인간-로봇 공동 학습 프레임워크다. 전체 요약 8문장 읽기 → 005 15:11 ▲ 60 · 댓글 2 로봇 조작, 인코더 없는 시각-언어 모델로 더 정확하게 기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. AI · 머신러닝 · From Pixels to Actions - Towards Native Vision-Language-Action Policies
Key Point 로봇 팔 같은 구체화된 제어 시스템이 최종 표현이 아닌 중간 단계의 시각 신호에서 더 정확한 정보를 얻을 수 있다는 발견은 로봇 공학과 구체화 AI의 아키텍처 설계 원칙을 바꿀 가능성이 있다.
핵심 요약
기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. NEO-VLA는 인코더 없는 구조의 비전-언어-액션 프레임워크로, 이미지를 경량 패치 합성곱 층으로 토큰화한 뒤 백본 전체에서 언어와 함께 진화하도록 설계했다. 흐름-매칭 액션 전문가가 백본의 다양한 깊이에서 명령 조건부 시각 표현에 접근할 수 있어, 최종 시각 표현뿐 아니라 계산 계층 전체의 정보를 활용한다. 전체 요약 6문장 읽기 → 006 15:11 ▲ 47 · 댓글 2 범용 로봇 정책을 대규모로 평가하는 RoboColosseum 프레임워크 공개 로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다. 하드웨어 · 시스템 · RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
Key Point 로봇 정책의 범용성과 적응력을 대규모 분산 환경에서 검증한 첫 사례로, 재현 불가능성 문제를 해결하고 실제 환경에서의 로봇 학습 진전을 측정하는 새로운 평가 방법론을 제시한다.
핵심 요약
로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다. 5개의 VLA(시각-언어-행동) 정책과 3개의 최신 AI 에이전트를 SO-101, Franka, Bimanual-YAM, G1 Humanoid 4개 로봇 플랫폼에서 평가했다. Open Track에서는 과제별 적응 없이 5,699회의 페어링 비교를 수행했으며, 최신 AI 에이전트들이 특화된 VLA 정책과 대등한 성능을 보였지만 모든 시스템이 개방형 과제에서 안정적 완료에 어려움을 겪었다. 전체 요약 7문장 읽기 → 007 21:11 ▲ 17 · 댓글 4 로봇 제어의 '뇌와 소뇌'를 한곳에 모은 REA 런타임 파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. AI · 머신러닝 · REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
Key Point 로봇 제어에서 느린 '뇌'와 빠른 '소뇌'의 충돌을 런타임 수준에서 해결한 새로운 접근으로, 실제 로봇 작업에서 기존 방식보다 25~26% 더 효율적으로 작동함을 보여줍니다.
핵심 요약
파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. REA는 deliberative System 2(파운데이션 모델), embodied router System 1(라우터), reactive System 0(빠른 정책)을 하나의 런타임에서 조율하는 통합 시스템이다. 핵심 규칙은 '어떤 실행 정책도 뇌의 응답을 기다리지 않는다'는 것으로, 비동기 조율을 통해 속도 저하를 방지한다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 20 · 댓글 2 소형 언어모델로 로봇 조작 명령 프로그래밍하기 로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. AI · 머신러닝 · CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
Key Point 로봇 조작 AI를 프론티어 모델 의존에서 벗어나 오픈소스 소형 모델로도 실현할 수 있게 하는 구체적 방법과 검증 결과를 제시한다.
핵심 요약
로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. 연구팀이 공개한 CaPtain은 소형 오픈소스 비전-언어 모델(Qwen 3.5-4B)을 미세조정과 강화학습으로 독립적인 로봇 정책 에이전트로 훈련하는 파이프라인이다. 파이프라인은 CaPtain-Harness라는 프레임워크 위에서 동작하며, 로봇 API, 저수준 인지·기하학·안전 이동 원시 동작을 시뮬레이션과 실제 하드웨어에서 노출한다. 전체 요약 8문장 읽기 → 009 15:11 ▲ 27 · 댓글 2 로봇 조작에 계층적 미래 예측을 더하다 로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. AI · 머신러닝 · HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
Key Point 로봇이 복잡한 작업을 수행할 때 단기 환경 변화와 장기 목표를 동시에 고려하는 방식이 어떻게 작동하는지 보여주는 새로운 기술 진전으로, 로봇 자동화 분야의 실제 구현 가능성을 높인다.
핵심 요약
로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. 이를 개선하기 위해 HiFOR은 계층적 미래 예측과 행동 유도 월드 검색을 결합한 프레임워크를 제안한다. 계층적 미래 예측은 단기 상태 변화, 의미론적 마일스톤, 최종 목표 상태를 계층적 의존성 마스크(HDM)를 통해 함께 예측해 시간축 간 의존성을 설정한다. 전체 요약 6문장 읽기 → 010 21:11 ▲ 16 · 댓글 2 휴머노이드 로봇을 위한 멀티모달 기초 모델 HuGe 공개 VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. AI · 머신러닝 · HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
Key Point 휴머노이드 로봇 제어에 인간 동작 데이터를 효과적으로 활용할 수 있는 방법론이 제시되면서, 로봇 학습 데이터 수집 비용을 크게 줄일 수 있는 길이 열렸기 때문이다.
핵심 요약
VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. HuGe는 2,000시간 이상의 1인칭 관점 인간 및 로봇 데이터로 사전학습한 휴머노이드 VLA 모델이다. 세 가지 기존 VLA 아키텍처를 사용해 사전학습된 전신 제어기를 위한 잠재 동작 토큰과 손 제어 신호를 예측한다. 전체 요약 6문장 읽기 → 011 21:11 당일 +108 Docker 컨테이너 안에서 Windows 실행하는 프로젝트 Docker 컨테이너 내에서 Windows를 실행할 수 있는 오픈소스 프로젝트로, KVM 가속을 통해 거의 네이티브 성능을 제공한다. 인프라 · 데브옵스 · dockur/windows · Shell
Key Point Docker 컨테이너에서 Windows를 완전히 자동 설치하고 KVM 가속으로 실제 VM처럼 운영할 수 있어, 개발자가 격리된 환경에서 Windows 애플리케이션을 테스트하거나 여러 Windows 버전을 쉽게 관리할 수 있다.
핵심 요약
Docker 컨테이너 내에서 Windows를 실행할 수 있는 오픈소스 프로젝트로, KVM 가속을 통해 거의 네이티브 성능을 제공한다. Windows 11 Pro를 기본으로 자동 설치하며, 환경 변수로 Windows 95부터 Windows Server 2025까지 다양한 버전을 선택할 수 있다. 최소 2GB RAM과 32GB 여유 디스크 공간이 필요하며, Linux 호스트의 Docker/Podman 또는 KVM 지원이 필수다. 전체 요약 10문장 읽기 → 012 03:11 ▲ 11 · 댓글 3 로봇이 장애물 인식은 하는데 안전하게 움직이지 못한다 가정용 로봇이 안전하게 이동하려면 장애물 종류와 거리에 따라 속도와 안전 간격을 조절해야 하는데 기존 평가 방법은 이를 검증하지 않는다. AI · 머신러닝 · Benchmarking Obstacle-Conditioned Safety in Household Robot Navigation
Key Point 가정용 로봇이 위험도를 정확히 판단해도 실제 움직임에 반영하지 못하는 문제가 있으며, 이를 측정하는 벤치마크와 지표의 부재가 큰 한계로 지목되었다.
핵심 요약
가정용 로봇이 안전하게 이동하려면 장애물 종류와 거리에 따라 속도와 안전 간격을 조절해야 하는데 기존 평가 방법은 이를 검증하지 않는다. 연구팀은 같은 장면에 장애물 종류만 다르게 배치한 벤치마크 'OSMA-Bench'와 로봇의 움직임이 장애물 위험도에 맞게 조정되는지 측정하는 'SSI(Semantic Sensitivity Index)' 지표를 제안했다. VLM(시각 언어 모델) 기반 및 VLA(시각 언어 행동) 정책을 평가한 결과 명시적인 안전 지시가 있어도 둘 다 장애물 종류에 따라 움직임을 일관되게 조정하지 못했다. 전체 요약 6문장 읽기 → 013 18:11 ▲ 30 · 댓글 2 로봇 모델 평가, 비용 없이 미리 걸러낸다 로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. AI · 머신러닝 · Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Key Point 로봇 모델을 평가하는 데 드는 비용과 시간을 대폭 줄일 수 있는 방법이 제시되어, 로봇 AI 개발 파이프라인의 효율성이 크게 바뀔 수 있다.
핵심 요약
로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. 플라토닉 표현 가설(PRH)은 모델 능력이 높아질수록 비전·언어처럼 모달리티들이 현실의 같은 통계 모델로 수렴한다고 본다. 연구진은 움직임 궤적도 이런 모달리티인지 묻고, 감각 표현이 물리 운동의 구조와 얼마나 잘 맞는지 측정하는 S²(Sensorimotor Alignment) 지표를 만들었다. 전체 요약 8문장 읽기 → 014 18:11 ▲ 151 · 댓글 2 로봇 제어 성능 높이는 물리 역학 이해 모델 PDRVLA 로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. AI · 머신러닝 · PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
Key Point 로봇 제어 시뮬레이션에서 최고 수준의 성공률을 달성한 새로운 방식이 기존 비디오 생성 방식의 지연 문제를 해결하고 공개 데이터만으로 학습 가능함을 보여준다.
핵심 요약
로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. 기존 비디오 세계 모델은 동역학을 포착하지만 미래 프레임을 생성해야 해 제어 지연이 발생하는데, PDRVLA는 가벼운 물리역학 모듈로 온라인 비디오 생성 없이 행동 생성을 조건화한다. 이 모듈은 미래 RGB, 깊이, 광학 흐름(optical flow) 특성을 직접 예측하며, 동결된 사전 학습 비디오 세계 모델을 통해 보조 감시를 받는다. 전체 요약 6문장 읽기 → 015 18:11 ▲ 22 · 댓글 2 LLM에 로봇 제어 패널만 달면 VLA 모델을 이긴다 로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. AI · 머신러닝 · RoboHarness: A Simple Harness Outperforms VLA and World Action Models
Key Point 대규모 로봇 학습 데이터 없이도 기존 LLM으로 로봇 제어가 가능하다는 것을 보였기에, 구체화된 AI 개발의 패러다임 전환 가능성을 시사한다.
핵심 요약
로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. 연구팀은 RoboHarness라는 로봇 제어 인터페이스를 제시해, LLM이 시각-기하학적 제어판을 통해 직접 로봇 동작을 이해하고 호출할 수 있게 했다. VLA 모델 대신 코딩 능력이 있는 LLM 에이전트에 간단한 로봇 장치만 제공하면, 로봇 조작 작업을 수행할 수 있다는 가정에 기반한다. 전체 요약 5문장 읽기 → 016 12:11 ▲ 55 · 댓글 2 로봇 학습을 인간 영상으로 확대하는 'ThinkWorld' 프레임워크 로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. AI · 머신러닝 · ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
Key Point 라벨 없는 인간 영상을 로봇 학습에 직접 활용하는 방법이 제시되어, VLA 모델의 훈련 데이터 병목을 푸는 새로운 경로를 제공한다.
핵심 요약
로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. 인간 영상은 행동 기록이 없어서 로봇 학습에 직접 활용하기 어렵다는 문제가 있다. ThinkWorld는 행동을 Chain-of-Dynamics(CoD)로 표현하여 세계 역학과 연결한다. 전체 요약 8문장 읽기 → 017 12:11 ▲ 30 · 댓글 3 로봇 조작 모델을 키우다, 영상에서 추출한 3D 행동으로 로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. AI · 머신러닝 · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions
Key Point 로봇 학습 데이터의 부족 문제를 해결하는 새로운 방법론으로, 일반 영상에서 로봇이 학습할 수 있는 신호를 뽑아낼 수 있음을 시사한다.
핵심 요약
로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. RynnVLA-Latent는 이를 해결하기 위해 사람, 로봇, 시뮬레이션 영상을 로봇 정책 사전학습용 감독 신호로 바꾼다. 핵심은 RynnLAM으로, 시각 전환(visual transition)에서 실제 로봇 제어 없이 3D 기반 잠재 행동을 학습한다. 전체 요약 10문장 읽기 → 018 06:11 ▲ 13 · 댓글 2 로봇 조작의 멀티뷰 활용을 높이는 FocusVLA 기법 로봇 조작을 위한 VLA 모델이 시각, 언어, 행동을 통합하지만 기존 모델들이 멀티뷰 이점을 충분히 활용하지 못하고 있다. AI · 머신러닝 · FocusVLA: Future-Intent Guided Dynamic View Routing for Vision-Language-Action Models
Key Point 로봇 조작의 정확도가 실무에서 중요한 만큼, 멀티뷰 센서 데이터를 효율적으로 활용하는 방법은 제조 로봇, 협업 로봇 개발에 직결된다.
핵심 요약
로봇 조작을 위한 VLA 모델이 시각, 언어, 행동을 통합하지만 기존 모델들이 멀티뷰 이점을 충분히 활용하지 못하고 있다. 실험 결과 기존 VLA 모델들이 손목 카메라(wrist view)에 지나치게 의존하면서 조작 단계별로 전역 관점과 국소 관점의 균형을 동적으로 조정하지 못하는 문제를 확인했다. 이를 해결하기 위해 FocusVLA를 제안하는데, 이전 행동으로부터 미래 상호작용 의도를 예측하고 이를 행동 생성 중 뷰 라우팅에 활용한다. 전체 요약 7문장 읽기 → 019 00:11 ▲ 13 · 댓글 2 로봇 작업 성공·실패 판단 통합한 비전-언어-행동 모델 'Echo' 로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. AI · 머신러닝 · Echo: Coupled Action and Task Status Signal Denoising for Vision Language Action Models
Key Point 로봇이 작업 완료를 감지하고 자율적으로 판단할 수 있어야 실제 환경에서 신뢰할 수 있는 에이전트로 동작할 수 있기 때문이다.
핵심 요약
로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. 기존 방식은 프레임 단위의 세밀한 지도학습, 외부 감시 모델, 복잡한 아키텍처를 요구했으나, Echo는 프로세스 주석 없이 작업 상태 신호를 학습하면서도 단일 VLA 내에 상태 예측과 행동 생성을 간단히 통합한다. stop 신호와 failure 신호를 행동 청크의 두 차원으로 추가하고, 로봇 행동과 함께 노이즈 제거 과정을 거쳐 두 신호의 조합으로 진행 중·성공·실패 상태를 구분한다. 전체 요약 6문장 읽기 → 020 12:11 ▲ 28 · 댓글 2 로봇 모방학습을 위한 다양한 시연 자동 발굴 기법 로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. AI · 머신러닝 · DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning
Key Point 로봇 모방학습의 데이터 커버리지 문제를 해결하는 실용적 방법론으로, 시뮬레이션과 실제 로봇 모두에서 성공률을 크게 향상시키는 구체적 성과를 보여준다.
핵심 요약
로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. 연구팀이 강화학습(RL)을 배포 가능한 제어기가 아닌 하위 시각-운동 모방학습용 데이터 생성기로 활용하는 접근법을 제시했다. 여러 성공 해결책이 단일 방식을 반복 수집할 때보다 더 넓은 범위의 성공적 궤적을 포괄한다는 게 핵심 가정이다. 전체 요약 8문장 읽기 → 021 15:11 ▲ 55 · 댓글 4 마인크래프트 정복하는 비전 언어 행동 에이전트 마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. AI · 머신러닝 · HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
Key Point 실제 마인크래프트 환경에서 인간 수준의 자율 행동을 보이는 에이전트가 처음 실현되었으며, 이는 게임 AI뿐 아니라 로봇 제어, 업무 자동화 등 복잡한 실제 환경에서의 에이전트 설계 방식을 재정의할 수 있다.
핵심 요약
마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. HiSTEVE는 계층적 VLA 에이전트로, 상위 수준의 조율 계층과 하위 수준의 제어 계층으로 구성되어 있다. 조율 계층은 구조화된 메모리로 진행상황을 추적하고 VLM 플래너로 수행 가능한 부작업을 선택하며, 정책 기반 작업 완료 감지기로 부작업 완료 여부를 판단한다. 전체 요약 7문장 읽기 → 022 03:11 ▲ 22 · 댓글 1 로봇 조작에 코드 기반 계획을 결합한 새로운 AI 모델 기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. AI · 머신러닝 · Agentic World Action Models
Key Point 로봇 조작 AI에서 시각 예측과 코드 기반 계획의 gap을 처음으로 메운 모델이며, 재사용 가능한 기술 라이브러리와 자동 학습 파이프라인을 제시해 실제 로봇 시스템의 확장성을 높일 수 있는 방법을 제안한다.
핵심 요약
기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. 코드 기반 계획 로봇공학은 재사용 가능한 기술을 제공하지만 물리 역학의 예측 기반이 약해 현실과의 연결 고리가 약했다. 이를 해결하기 위해 AW-0이라는 에이전트형 세계 행동 모델을 제시했으며, 코드 기반 계획을 영상·행동 예측과 통합한다. 전체 요약 9문장 읽기 → 023 00:11 ▲ 28 · 댓글 1 로봇 자가학습 에이전트로 장기 조작 과제 정복 Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. AI · 머신러닝 · From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
Key Point 로봇이 여러 단계의 조작 작업에서 과거 경험을 학습하며 스스로 개선되는 기법이 실제로 성능을 높이는 방식과 수치를 제시했다.
핵심 요약
Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. 부분 관측 가능성과 실행 오류가 시간에 따라 누적되며, 기존 방식은 기초 모델에 메모리를 추가하거나 고수준 계획과 저수준 실행을 분리하는 계층적 구조로 이를 해결해왔다. 연구팀은 고수준 VLM을 수정 가능한 하네스(harness)를 통해 로봇 에이전트로 구성해 작업 맥락을 유지하고 실행 경험으로 계획을 개선하는 접근법을 제시했다. 전체 요약 6문장 읽기 → 024 12:11 ▲ 42 · 댓글 2 로봇 플래너도 포스트트레이닝으로 강화된다 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. AI · 머신러닝 · AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Key Point 작은 오픈소스 로봇 모델도 정교한 포스트트레이닝으로 폐쇄형 거대모델 수준의 성능을 낼 수 있다는 점이 로봇 개발자와 AI 연구자들에게 실질적인 의미를 갖는다.
핵심 요약
로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다. 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다. 전체 요약 8문장 읽기 → 025 15:11 ▲ 60 · 댓글 2 로봇 AI의 행동 생성, 재활용으로 3배 빠르게 Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. AI · 머신러닝 · VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
Key Point 로봇 행동 생성 모델의 추론 속도를 대폭 개선하면서 정확도도 높이는 기법으로, 실시간 제어가 필요한 로봇 시스템의 실용성을 크게 향상시킬 수 있다.
핵심 요약
Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. 연구팀은 버려진 행동 꼬리가 제거 과정의 진행 상황을 담고 있어 재활용 가능함을 발견했고, 10단계 가우시안 기준선과 동등하거나 더 나은 성능을 더 적은 제거 단계로 달성할 수 있음을 보였다. 최적 제거 예산(denoising budget)이 샘플마다 크게 달라지므로, 행동 꼬리 재활용은 업데이트된 환경에 맞게 적응해야 한다는 관찰에 따라 VLA-Rolling을 제안한다. 전체 요약 6문장 읽기 → 026 09:11 ▲ 10 · 댓글 2 로봇 비전-언어 모델에 사용자 맞춤과 안전 기능을 더하다 현재의 일반용 VLA(Vision-Language-Action) 모델은 다양한 로봇 조작을 가능하게 하지만, 실제 로봇 지원에 필요한 사용자 맞춤화와 신뢰성 있는 실행 능력이 부족하다. AI · 머신러닝 · CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance
Key Point 실제 로봇 지원의 핵심인 사용자 맞춤화와 안전성 문제를 해결하는 구체적 방법론을 제시하며, 위반율 8.6배 감소, 복구 성공률 6배 증가라는 검증 가능한 결과를 보여준다.
핵심 요약
현재의 일반용 VLA(Vision-Language-Action) 모델은 다양한 로봇 조작을 가능하게 하지만, 실제 로봇 지원에 필요한 사용자 맞춤화와 신뢰성 있는 실행 능력이 부족하다. CarryOn은 기존 VLA 정책을 보강하는 이중 루프 시스템으로, 사용자 선호도와 장면 맥락을 유지하면서 상호작용을 통해 지속적으로 업데이트하는 '계획 루프'를 갖춘다. 계획 루프는 사용자의 지속적인 선호도를 반영하여 맞춤형 부분 작업을 선택하고, 대화와 변화하는 장면 속에서 실행을 조율한다. 전체 요약 7문장 읽기 → 027 18:11 ▲ 54 · 댓글 2 로봇 제어 성능 높이는 'VLA-Δ' 프레임워크 공개 Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. AI · 머신러닝 · VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
Key Point 로봇 제어 분야의 VLA 모델이 물리적 상태 변화를 명시적으로 학습하는 새로운 접근으로 기존 과적합 문제를 해결하고 성능을 향상시킨 점이 중요하다.
핵심 요약
Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. 기존 방법들은 언어·시각·잠재 공간에서 중간 추론이나 미래 상태 예측을 도입했으나, 실제 물리적 상태 전환 자체는 명시적으로 학습하지 않았다. 연구팀은 현재 상태와 미래 상태 간 물리적 변화를 직접 학습 목표로 삼는 VLA-Δ 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 028 12:11 ▲ 10 · 댓글 1 카메라 기하학 정보로 로봇 비전-언어 모델의 다중 카메라 성능 향상 Vision-language-action(VLA) 모델은 로봇 조작에 의미론적 지식을 제공하지만, 시각 표현이 2D 이미지 좌표에 기반해 다중 카메라 시스템의 기하학적 관계를 활용하지 못한다. AI · 머신러닝 · G^3VLA: Geometric Inductive Bias for Vision-Language-Action Models
Key Point 로봇 비전 모델이 다중 카메라 시스템의 기하학적 관계를 명시적으로 활용하는 방법을 제시하여, 실제 로봇 시스템에서 카메라 수와 각도에 관계없이 안정적인 성능을 달성할 수 있게 한다.
핵심 요약
Vision-language-action(VLA) 모델은 로봇 조작에 의미론적 지식을 제공하지만, 시각 표현이 2D 이미지 좌표에 기반해 다중 카메라 시스템의 기하학적 관계를 활용하지 못한다. G³VLA는 카메라 내부 파라미터와 외부 파라미터를 이용한 기하학적 모듈로, 사전학습된 VLA의 시각 토큰 스트림에 보정된 카메라 구조를 주입한다. 내부 파라미터 조건 광선 임베딩(ray embedding), 투영 위치 인코딩(PRoPE), 양방향 교차 뷰 융합을 결합해 카메라 뷰 간 기하학적으로 일관된 표현을 구축한다. 전체 요약 8문장 읽기 → 029 12:11 ▲ 11 · 댓글 1 안전한 자율주행을 위한 VLA 모델 SafeDriveVLA 제시 Vision-Language-Action(VLA) 모델이 자율주행에 주목받고 있으나, 자유형식 자연어 지시가 현재 장면과 충돌할 수 있다는 새로운 취약점이 있다. AI · 머신러닝 · SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving
Key Point 자연어 지시 기반 자율주행에서 운전자의 부주의하거나 악의적 명령이 만드는 충돌 문제를 처음으로 체계적으로 다루고, 이를 해결하는 방법론을 제시했기 때문에 안전성이 중요한 자율주행 개발자들에게 실질적인 가치가 있다.
핵심 요약
Vision-Language-Action(VLA) 모델이 자율주행에 주목받고 있으나, 자유형식 자연어 지시가 현재 장면과 충돌할 수 있다는 새로운 취약점이 있다. 연구진은 네비게이션 추종과 충돌 인식, 적대적 강건성을 함께 평가하는 첫 벤치마크 스위트를 공개했으며, 기존 VLA 모델들이 모두 불안전한 지시에서 성능이 급격히 저하된다. SafeDriveVLA는 3단계 네비게이션 준수 모드를 명시적으로 예측해 충돌 추론을 행동 생성에서 분리한다. 전체 요약 6문장 읽기 → 030 00:11 ▲ 10 · 댓글 1 자율주행 VLA 모델 AUGUstus, CoT와 확산 생성 통합으로 저지연 구현 기존 Vision-Language-Action(VLA) 모델은 두 가지 문제를 가짐: 저지연을 위해 회귀·흐름 기반으로 행동만 생성하면 안전성이 떨어지고, 자동회귀 방식으로 chain-of-thought(CoT)까지 생성하면 지연이 커짐. AI · 머신러닝 · AUGUstus: Autonomous Driving VLA Model with Unified Generation and Understanding
Key Point 자율주행 AI는 지연과 안전성의 트레이드오프를 풀어야 하는데, AUGUstus가 CoT 감독과 저지연 추론을 동시에 구현한 실용적인 해법을 보여주고 있으며 실제 차량 배포까지 달성했습니다.
핵심 요약
기존 Vision-Language-Action(VLA) 모델은 두 가지 문제를 가짐: 저지연을 위해 회귀·흐름 기반으로 행동만 생성하면 안전성이 떨어지고, 자동회귀 방식으로 chain-of-thought(CoT)까지 생성하면 지연이 커짐. AUGUstus는 확산 기반 행동 생성과 자동회귀 CoT 이해를 하나의 모델로 통합하되, CoT는 행동 생성만 돕도록 설계함. 행동을 먼저 생성하고 CoT로 감독하는 구조로, 훈련 때는 CoT 감독을 활용하되 추론 때는 행동 출력만 필요해 저지연을 달성함. 전체 요약 8문장 읽기 → 031 18:11 ▲ 24 · 댓글 1 로봇 비전-언어 모델과 세계 모델을 연결한 WAVE-0 공개 Vision-language-action(VLA) 정책은 로봇 조작에 뛰어나지만 행동의 환경적 결과를 명시적으로 모델링하지 않는 한계가 있다. AI · 머신러닝 · WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction
Key Point 기존 VLA 정책의 행동 결과 예측 부재 문제를 경량 세계 모델로 해결하고 실제 로봇 작업에서 35%p 향상을 이루어 실용적 로봇 조작 능력이 어떻게 개선되는지 보여준다.
핵심 요약
Vision-language-action(VLA) 정책은 로봇 조작에 뛰어나지만 행동의 환경적 결과를 명시적으로 모델링하지 않는 한계가 있다. World action models(WAM)은 미래 예측을 포함하지만 대부분 비용이 큰 비디오 생성에 의존하거나 대규모 영상 학습이 필요하다. WAVE-0(World-model-Augmented VLA Execution)은 경량 잠재 세계 모델로 VLA와 WAM을 연결하는 프레임워크다. 전체 요약 9문장 읽기 → 032 09:11 당일 +113 Windows 11 설치 이미지 경량화 앱 'Tiny11 Builder' 깃허브서 급상승 GitHub에서 공개 중인 Tiny11 Builder는 Windows 11 ISO 이미지를 커스터마이징해 경량화하는 WinUI 애플리케이션이다. 하드웨어 · 시스템 · ntdevlabs/tiny11builder · C#
Key Point 리소스가 제한적인 구형 PC나 라이브 OS 환경에서 Windows 11을 경량 버전으로 설치하고 싶은 사용자들이 중요한 도구로 삼을 수 있습니다.
핵심 요약
GitHub에서 공개 중인 Tiny11 Builder는 Windows 11 ISO 이미지를 커스터마이징해 경량화하는 WinUI 애플리케이션이다. 공식 Windows 이미지를 다운로드하거나 자신의 이미지를 사용해 불필요한 요소를 제거한 후 새로운 ISO를 생성하는 방식으로 동작한다. Tiny11, Tiny11 Core, Custom 세 가지 빌드 모드를 제공하며, Tiny11은 기본 앱과 기능을 제거하되 업데이트·Defender·복구 기능은 유지한다. 전체 요약 8문장 읽기 → 033 06:11 ▲ 19 · 댓글 2 로봇이 직접 짜는 코드, VLM 없이도 작동한다 로봇의 세계를 튜링 머신으로 보고, 상태 변화와 정책을 코드로만 표현하는 COAP(Code-Only-as-Policy) 방식을 제안했다. AI · 머신러닝 · Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement
Key Point 로봇이 대규모 언어 모델 없이 명시적인 코드로만 작동하면서 70% 이상의 성공률을 보인 새로운 접근법이기에, 로봇 자동화와 에이전트 개발의 패러다임 변화를 보여준다.
핵심 요약
로봇의 세계를 튜링 머신으로 보고, 상태 변화와 정책을 코드로만 표현하는 COAP(Code-Only-as-Policy) 방식을 제안했다. 카메라 이미지와 로봇 센서 데이터에서 상태를 명시적으로 추출·추적하며, 실행 시점에 VLM이나 VLA 모델 없이 코드만으로 의사결정을 수행한다. COAP의 장점은 세 가지다: 상태를 코드 변수로 명확히 저장할 수 있고, 제어 가능하고 빠르고 비용이 낮으며, 에러에서도 유연하게 복구한다. 전체 요약 8문장 읽기 → 034 18:30 ▲ 10 · 댓글 2 로봇 정책의 의사결정 순간에 집중하는 검증기 학습법 로봇의 시각-언어-행동(VLA) 정책 성능을 높이려면 대량의 로봇 데이터가 필요하지만, 실제 데이터 수집 비용이 매우 크다는 문제가 있다. AI · 머신러닝 · DiVeR: Decision-Critical Verifier Learning for VLA Test-Time Scaling
Key Point 테스트 타임 스케일링으로 추가 데이터 없이 로봇 정책의 성능을 높일 수 있는 구체적인 방법을 제시해, 로봇 학습의 데이터 비용 문제를 다루는 실질적 접근이 된다.
핵심 요약
로봇의 시각-언어-행동(VLA) 정책 성능을 높이려면 대량의 로봇 데이터가 필요하지만, 실제 데이터 수집 비용이 매우 크다는 문제가 있다. 기존 검증기는 여러 행동 후보를 샘플링한 뒤 궤적 전체 결과만 보고 학습해 비효율적이며, 모든 상태를 동등하게 취급한다. 실제로는 많은 상태에서 행동 선택지가 비슷해 판단 신호가 약하지만, 소수의 결정 임계 상태에서만 행동 선택이 나중 결과에 큰 영향을 미친다. 전체 요약 6문장 읽기 → 035 18:30 ▲ 145 · 댓글 29 증명 없이 정답만 던지던 수학 천재 'Cleo'의 정체 2013~2015년 스택 익스체인지 수학 포럼에서 Cleo라는 계정이 39개의 복잡한 적분 문제에 완벽한 답을 제시했지만 풀이 과정은 전혀 보여주지 않았다. 기타 · Cleo (Mathematician)
Key Point Stack Exchange에서 최고의 수학 천재로 추앙받던 정체 불명의 계정이 실은 우즈베키스탄 소프트웨어 개발자의 창작 페르소나였다는 온라인 미스터리의 전말을 한 번에 파악할 수 있습니다.
핵심 요약
2013~2015년 스택 익스체인지 수학 포럼에서 Cleo라는 계정이 39개의 복잡한 적분 문제에 완벽한 답을 제시했지만 풀이 과정은 전혀 보여주지 않았다. 첫 주목받은 것은 2013년 11월 Mathematica와 Maple도 풀지 못한 복잡한 적분을 4시간 반 만에 '황금비를 이용한 답'으로 제시했을 때였다. 수학 커뮤니티는 Cleo가 천재 수학자인지, 여러 사람의 집단 계정인지 논쟁했고, Terence Tao나 Maryam Mirzakhani 같은 유명 수학자가 아닐까 추측했다. 전체 요약 9문장 읽기 → 036 18:33 ▲ 29 · 댓글 3 로봇 실행 오차 보정하는 VLA 정책 제안 비전-언어-행동(VLA) 정책은 로봇이 명령한 움직임과 실제 실행 움직임이 다를 때 실패하는데, 이는 기계 마모나 페이로드 변화 같은 로봇 실행 오차에서 비롯된다. AI · 머신러닝 · Taming VLAs under Robot Execution Errors: Self-Compensation and Stress Testing
Key Point 로봇이 물리적 제약과 마모로 인해 명령과 다르게 동작할 때도 VLA를 안정적으로 사용할 수 있는 실무 해법이 필요한 시점이다.
핵심 요약
비전-언어-행동(VLA) 정책은 로봇이 명령한 움직임과 실제 실행 움직임이 다를 때 실패하는데, 이는 기계 마모나 페이로드 변화 같은 로봇 실행 오차에서 비롯된다. 연구팀은 자가 보정 VLA를 제안했으며, 이는 배포 시점에 VLA 정책이 로봇의 실행 오차를 미리 보정하는 명령을 생성할 수 있도록 한다. 작업 보상이나 레이블 없이 VLA가 명령한 행동과 로봇이 실제 실행한 움직임 간의 잔차를 이용해 온라인으로 정책을 업데이트한다. 전체 요약 6문장 읽기 → 037 18:33 ▲ 13 · 댓글 2 VLA 모델의 지름길 학습 끊기, 섭동 훈련으로 Vision-Language-Action(VLA) 정책은 작업 결정에 필요한 핵심 증거를 무시하고도 복잡한 과제를 완료할 수 있는데, 시각 정보, 언어, 동작의 '모달리티 지름길(shortcut)'에 의존하기 때문이다. AI · 머신러닝 · PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training
Key Point 로봇이 실제 작업의 핵심 근거 없이도 지름길 패턴으로 행동을 결정하는 근본 문제를 진단하고 훈련 시점에 해결하는 방법론을 제시한다.
핵심 요약
Vision-Language-Action(VLA) 정책은 작업 결정에 필요한 핵심 증거를 무시하고도 복잡한 과제를 완료할 수 있는데, 시각 정보, 언어, 동작의 '모달리티 지름길(shortcut)'에 의존하기 때문이다. 지름길의 예: 손목 카메라 근처의 물체가 지시된 대상을 밀어낼 수 있고, 훈련 과정에서 동사가 바뀌어도 익숙한 명사가 같은 동작을 유발하며, 빈 손가락이 움직여도 물체를 집어올릴 수 있다. 더 많은 훈련 데이터도 작업 성공률은 올리되 이 지름길을 온전히 해결하지 못하는 문제가 있다. 전체 요약 8문장 읽기 → 038 18:33 ▲ 13 · 댓글 2 로봇 정책 호출 줄인 VLA 모델, 부드러운 동작 가능해졌다 Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. AI · 머신러닝 · When to Switch: Reliable Action-Chunk Extension for Vision-Language-Action Models
Key Point 로봇이 정책을 자주 호출할 때 발생하는 정지 구간을 없애면서도 신뢰도를 유지하는 방법이 실제 로봇에서 5배의 시간 절감을 이뤄 실용적 가치가 크다.
핵심 요약
Vision-Language-Action 모델은 로봇 조작의 통합 정책으로 쓰이지만, 높은 추론 비용으로 인해 정책 호출 사이에 로봇이 정지해야 하고 이는 부드러운 동작을 방해하고 작업 시간을 늘린다. 액션 청크(action chunk)를 늘리면 정책 호출과 일시 정지를 줄일 수 있지만, 더 먼 미래를 예측하다 보니 장시간 청크 실행의 신뢰도가 떨어진다. 연구팀은 장시간 청크 내 액션 오류를 분석했고, 오류가 조작 서브스킬 간의 전환 지점에 집중되며 청크 길이에 따라 급격히 증가함을 발견했다. 전체 요약 6문장 읽기 → 039 18:35 ▲ 43 · 댓글 2 손재주 많은 로봇 제어, 3D 점군으로 배운다 세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. AI · 머신러닝 · PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
Key Point 기존 손재주 로봇 조작 모델은 평면 이미지와 1차원 관절각만 다루며 3D 공간 기하를 놓쳤던 근본적 한계를 점군으로 해결한 접근법이 기존 방식을 11.7포인트 이상 추월했다.
핵심 요약
세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. Point World Action Model (PointWAM)은 환경과 손을 공유 시공간 좌표에서 3D 점 궤적으로 명시적, 분리적으로 표현하고 함께 예측한다. 작업별 물체 또는 키포인트 선택 없이 대규모 인간 시연 영상으로 사전학습할 수 있으며, 컬러 포인트 클라우드와 언어 지시로부터 장면과 손이 3D 공간에서 시간 경과에 따라 어떻게 공진화하는지 예측한 후 손 동작을 로봇 행동으로 재타겟팅한다. 전체 요약 4문장 읽기 → 040 09:11 ▲ 15 · 댓글 2 로봇 비전-언어 모델의 실시간 피드백 학습으로 안전성과 성공률 동시 개선 비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. AI · 머신러닝 · Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models
Key Point 로봇 작업에서 안전과 효율의 충돌을 근본적으로 해결하는 새로운 학습 방식으로, 기존 실시간 수정 방식의 근본적인 한계를 정책 개선으로 극복한다.
핵심 요약
비전-언어-행동(VLA) 모델은 로봇 조작 작업에 폭넓게 일반화되지만, 복잡한 환경에서는 작업 성공과 의도치 않은 접촉의 균형을 맞춰야 한다. 기존 실시간 안전 모듈(runtime shield)은 개별 행동을 즉시 수정하지만 정책 자체는 변하지 않아 반복된 불일치가 작업 진행을 막는 문제가 있다. 논문은 FailBank라는 4단계 자가 진화 프레임워크를 제시하여 실시간 피드백을 지속적인 정책 개선으로 전환한다. 전체 요약 8문장 읽기 → 041 15:11 ▲ 89 · 댓글 2 일반 비전-언어 모델로 로봇 조작 가능하게 하는 MotorMind VLA(비전-언어-액션) 모델은 로봇 조작을 발전시켰으나 새로운 작업과 환경에서 제로샷 일반화가 제한적이고, 전문 훈련에 의존하면서 범용 VLM의 빠른 발전 혜택을 받지 못했다. AI · 머신러닝 · MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
Key Point 일반 AI 모델만으로 로봇을 제어하는 새로운 방식이 기존 전문화된 방법들을 크게 능가한 성능을 보여주므로, AI와 로봇 응용 경계에서의 구조적 전환을 의미한다.
핵심 요약
VLA(비전-언어-액션) 모델은 로봇 조작을 발전시켰으나 새로운 작업과 환경에서 제로샷 일반화가 제한적이고, 전문 훈련에 의존하면서 범용 VLM의 빠른 발전 혜택을 받지 못했다. 기존 에이전트 로봇 시스템은 고수준 추론을 위해 VLM을, 제어를 위해 코딩 에이전트를 활용하지만 외부 모델과 도구에 의존해 복잡도와 비용이 증가한다. MotorMind는 범용 VLM이 사람 원격조작자처럼 관찰에서 직접 추론하고 액션을 지시하며 실행 피드백에 적응할 수 있게 하는 로봇 조작 프레임워크다. 전체 요약 8문장 읽기 → 042 00:11 ▲ 44 · 댓글 2 로봇 제어에서 토큰 65% 줄이고 성공률 14% 높인 GPT-6 에이전트 로봇 제어 작업에서 VLM 에이전트가 매번 모델을 호출할 때마다 토큰이 과다하게 소비되는 문제를 해결하기 위해 PyRUA-Lean이라는 상호작용형 코드 실행 프레임워크를 제안했다. AI · 머신러닝 · Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens
Key Point 로봇 제어 작업에서 LLM 토큰 소비를 대폭 줄이면서 오히려 성공률을 높이는 기법이 나왔으므로, 실시간 로봇 시스템이나 토큰 비용에 민감한 에이전트 설계에 참고할 가치가 있다.
핵심 요약
로봇 제어 작업에서 VLM 에이전트가 매번 모델을 호출할 때마다 토큰이 과다하게 소비되는 문제를 해결하기 위해 PyRUA-Lean이라는 상호작용형 코드 실행 프레임워크를 제안했다. 이 프레임워크는 피드백 기반 로봇 원시 동작(primitive)과 학습된 시각-언어-행동(VLA) 정책을 Python 셀로 조합해 조건부 검사와 로컬 재시도를 수행하며, 명시적으로 요청한 이미지와 상태 피드백만 반환한다. LIBERO-PRO, RoboTwin 2.0, RoboCasa365의 700개 시뮬레이션 작업에서 동일한 GPT-6 Astra 플래너와 로봇 원시 동작을 사용하는 기존 도구 호출 방식과 비교했다. 전체 요약 5문장 읽기 → 043 12:11 ▲ 15 · 댓글 2 VLA 강화학습, 저랭크 구조로 성능 향상 메커니즘 규명 비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. AI · 머신러닝 · The Low-Rank Structure of VLA Reinforcement Learning
Key Point 로봇 비전-언어 모델의 강화학습이 파라미터 공간에서 어떻게 작동하는지 처음으로 명확히 규명했으며, 효율적인 미세조정 전략을 제시해 VLA 모델 개발 방식을 바꿀 수 있다.
핵심 요약
비전-언어-액션(VLA) 모델에 강화학습(RL)을 적용하면 파라미터 업데이트가 저랭크 구조를 형성하며, 이는 액션 전문가의 타임스텝 모듈이라는 작은 컴포넌트에 집중된다. π₀.₅, GR00T N1.5/N1.6 등 플로우 기반 VLA 모델을 LIBERO, ManiSkill, MetaWorld, CALVIN에서 테스트한 결과, 타임스텝 모듈이 RL 성능 향상의 불균형적으로 큰 부분을 차지한다. RL은 타임스텝 모듈을 롤아웃 중 사용되는 이산 노이징 타임스텝에 특화시키며, 이 이산 타임스텝 학습이 저랭크 업데이트의 원인이다. 전체 요약 6문장 읽기 → 044 12:11 ▲ 90 · 댓글 2 3D 세계의 이상을 찾아내는 AI 벤치마크 공개 3D 시뮬레이션 환경에서 부유하는 물체, 통과 가능한 벽, 맞지 않는 객체 등의 이상을 자동으로 감지하는 것이 중요해지고 있다. AI · 머신러닝 · WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
Key Point 멀티모달 AI가 3D 환경 내 시각적 추론과 행동 탐색을 동시에 수행해야 하는 실제적 요구를 측정하는 벤치마크로, AI 모델의 공간 이해와 의사결정 능력의 격차를 정량화한다.
핵심 요약
3D 시뮬레이션 환경에서 부유하는 물체, 통과 가능한 벽, 맞지 않는 객체 등의 이상을 자동으로 감지하는 것이 중요해지고 있다. 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA) 같은 멀티모달 AI 시스템이 이 작업을 자동화할 가능성을 보여주고 있다. 3D 세계 감시는 행동 능력(3D 환경을 탐색하며 이상을 체계적으로 찾기)과 시각 추론 능력(환경을 이해하고 이상 식별)의 긴밀한 결합이 필요하다. 전체 요약 8문장 읽기 → 045 21:11 ▲ 65 · 댓글 1 LLM이 진정한 비동기 에이전트로 거듭난다 현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. AI · 머신러닝 · LLMs are General Asynchronous Agents
Key Point LLM을 단순 음성 인식기나 로봇 제어기로만 쓰던 시대에서 벗어나, 진정으로 동시다중 작업을 처리하는 에이전트로 만드는 기술이 등장했다는 뜻이다. 이는 실시간 응답과 백그라운드 작업을 함께 해야 하는 음성 어시스턴트, 자율 로봇, 모니터링 시스템 등의 실용성을 크게 높일 수 있다.
핵심 요약
현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. 실제 응용(음성 어시스턴트, 로봇 제어, 모니터링)은 비순차적이다. 에이전트가 생각하거나 작업을 수행하는 도중 새로운 입력이 들어온다. 현재는 음성·영상 처리, 로봇 제어(VLA), 비동기 도구 호출 등 용도별로 서로 다른 아키텍처를 구축해야 한다. 전체 요약 5문장 읽기 → 046 21:11 ▲ 35 · 댓글 1 로봇이 실패를 스스로 극복하게 해주는 '수첩' 기법 로보틱스의 핵심 과제는 다양한 작업과 환경에서 조작 능력을 발휘하는 것인데, 비전-언어-행동(VLA) 모델은 실행 중 실패를 진단하고 행동을 적응시켜야 할 때 어려움을 겪는다. AI · 머신러닝 · Recursive Harness Distillation across Agents for Robot Manipulation
Key Point 로봇 조작의 실패 대응을 자동화하는 방법론이 제시되어, 다양한 환경의 로봇 작업 신뢰도를 크게 높일 수 있는 경로를 보여준다.
핵심 요약
로보틱스의 핵심 과제는 다양한 작업과 환경에서 조작 능력을 발휘하는 것인데, 비전-언어-행동(VLA) 모델은 실행 중 실패를 진단하고 행동을 적응시켜야 할 때 어려움을 겪는다. 연구팀은 강한 에이전트가 약한 에이전트를 위해 경험을 '플레이북'으로 정제하고, 약한 에이전트의 실행 피드백으로 이를 반복 개선하는 '재귀적 하네스 증류(Recursive Harness Distillation)' 기법을 제안했다. 이 플레이북은 모델 파라미터를 업데이트하지 않고도 새로운 작업에서 누적된 개입 지식을 재사용하게 해준다. 전체 요약 6문장 읽기 → 047 15:11 ▲ 91 · 댓글 2 로봇, 코드로 배우고 스스로 진화한다 기존 VLA(비전-언어-동작)·WAM(세계-동작) 모델은 관찰과 지시를 직접 로봇 동작으로 변환하지만, 레이아웃이나 시점이 조금 바뀌어도 실패하고 지시 일반화가 떨어진다. AI · 머신러닝 · Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence
Key Point 로봇이 코드로 작업 상태를 표현하고 실행 과정을 수정하도록 하면, 환경 변화에 더 탄력적으로 대응하고 장기 작업도 완수할 수 있다는 새로운 접근법을 제시한다.
핵심 요약
기존 VLA(비전-언어-동작)·WAM(세계-동작) 모델은 관찰과 지시를 직접 로봇 동작으로 변환하지만, 레이아웃이나 시점이 조금 바뀌어도 실패하고 지시 일반화가 떨어진다. 근본 원인은 표현 방식에 있다: 작업 요구사항·조건·진행·실패 복구가 동작 수열에 암묵적으로 인코딩돼 검사하거나 수정하기 어렵다. 논문은 디지털 코딩 에이전트의 방식을 물리 로봇에 적용하는 'Physical Coding'을 제안한다: LLM이 도구를 호출하고 결과를 검증한 뒤 피드백으로 실행 가능한 코드를 수정하는 방식이다. 전체 요약 8문장 읽기 → 048 22:26 ▲ 13 · 댓글 2 로봇 시각-언어 모델의 안전성 강화, HJ 도달가능성 기반 셰일드VLA 제안 로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. AI · 머신러닝 · ShieldVLA: Feasibility-Aware Safety Alignment for Vision-Language-Action Models
Key Point 로봇 AI 모델의 안전성은 실제 배포 시 가장 중요한 과제이며, ShieldVLA는 기존 트레이드오프 방식을 근본적으로 개선하는 새로운 접근법을 제시한다.
핵심 요약
로봇 조작·이동을 수행하는 VLA(Vision-Language-Action) 모델은 일반화 성능이 뛰어나지만 기존 미세조정 방식은 안전성 보장이 부족하다. 현재 방식은 라그랑주 최적화로 누적 비용에 소프트 페널티를 부과하는데, 이는 제약 위반이나 과도하게 보수적 행동을 초래하고 시각 도메인에서 단계별 안전 레이블이 없어 학습이 어렵다. Hamilton-Jacobi(HJ) 도달가능성에 기반한 ShieldVLA를 제안하며, 시각 관찰로부터 HJ 도달가능성 가치함수를 모델-프리 방식으로 근사하여 안전 작동 영역을 추정한다. 전체 요약 6문장 읽기 → 049 22:26 ▲ 11 · 댓글 2 과거 정보 기억하는 로봇 제어 모델 'MemBodied' 제안 비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. AI · 머신러닝 · MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Key Point 과거 관찰 정보가 필요한 로봇 제어 작업에서 컨텍스트 확장의 비효율성을 해결하면서 매개변수 효율성까지 확보한 새로운 메모리 메커니즘이다.
핵심 요약
비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. 과거 관찰을 컨텍스트에 포함하면 해결되지만 컨텍스트 크기 증가와 추론 지연이라는 문제가 발생한다. MemBodied는 고정 크기의 기억 구조로, 상호작용을 기록하는 연관 상태(associative state)와 초기 장면을 보존하는 에피소드 앵커(episode anchor) 두 개 요소로 구성된다. 전체 요약 8문장 읽기 → 050 21:11 ▲ 24 · 댓글 3 로봇 조작 실패 복구하는 AI 정책 프레임워크 공개 로봇 팔 조작 중 계획이 틀어지면 성능이 급격히 떨어지는 Vision-Language-Action(VLA) 정책의 문제를 해결하는 CARE 프레임워크를 개발했다. AI · 머신러닝 · CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies
Key Point 로봇 조작 작업의 안정성을 현저히 높이는 새로운 기법으로, 산업용 로봇이나 자동화 시스템의 신뢰도 문제를 실질적으로 개선할 수 있다.
핵심 요약
로봇 팔 조작 중 계획이 틀어지면 성능이 급격히 떨어지는 Vision-Language-Action(VLA) 정책의 문제를 해결하는 CARE 프레임워크를 개발했다. 실제 실패 사례를 수집해 그 패턴을 학습하고, 이를 바탕으로 대표적 실패 상황과 복구 방법을 합성해 훈련시킨다. 추론 시 3D 모니터링으로 실패를 감지하면 작업 진행도를 유지하면서 단계별로 미세 조정하거나 다시 시도한다. 전체 요약 5문장 읽기 → 051 16:18 ▲ 84 · 댓글 3 로봇 기초모델, 3D 공간 이해로 조작 정확도 높이다 기존 로봇 기초모델은 언어-비전-행동 모델(VLA)이나 세계-행동 모델(WAM)을 기반하지만 3D 공간 정보를 직접 학습하지 않아 로봇 시연 데이터에만 의존했다. AI · 머신러닝 · Grounded Action Model: 3D Grounding as a Foundation for Robotics
Key Point 로봇 조작 작업에서 객체 위치와 기하학 정보를 명시적으로 모델링함으로써 일반화 능력을 크게 개선한 새로운 아키텍처 패러다임으로, 실제 로봇 배포의 신뢰성을 높이는 핵심 진전입니다.
핵심 요약
기존 로봇 기초모델은 언어-비전-행동 모델(VLA)이나 세계-행동 모델(WAM)을 기반하지만 3D 공간 정보를 직접 학습하지 않아 로봇 시연 데이터에만 의존했다. Grounded Action Models(GAM)은 3D 공간 정보를 명시적으로 포함한 새로운 로봇 기초모델로, 언어·포인트·박스 프롬프트 등으로 입력받은 후 공유 객체 표현으로 변환해 행동을 예측한다. 이 표현은 목표 대상의 시각 특징과 기하학적 정보를 담으며 로봇 상태 이력과 함께 멀티스트림 트랜스포머로 처리된다. 전체 요약 6문장 읽기 → 052 16:18 ▲ 27 · 댓글 3 인간 영상을 로봇 학습 데이터로 변환하는 'HuRo' 파이프라인 인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. AI · 머신러닝 · HuRo: Robotizing Human Videos for Scalable VLA Pretraining
Key Point 저비용 인간 영상 데이터로 로봇 비전-언어 에이전트를 학습시킬 수 있는 스케일러블한 솔루션을 제시하며, 구체적 성능 개선 수치가 실용성을 입증한다.
핵심 요약
인간 비디오를 로봇 시점으로 변환하는 'HuRo' 파이프라인을 개발했으며, 5개 인간 영상 출처에서 63만 개 에피소드와 1억 4,200만 프레임을 처리했다. 4가지 실제 조작 작업에서 로봇화된 사전학습 데이터량을 늘리자 작업 완료율이 51.5%에서 80.3%로 증가했고, 공간·시각 변화에 대한 외삽 완료율도 34.9%에서 72.2%로 향상됐다. 시각적 로봇화는 분포 밖 상황에 대한 강건성을 높였으며, 행동 재타겟팅을 포함한 엔드투엔드 사전학습이 시각 정보만 활용한 전이 학습을 앞도했다. 053 00:10 ▲ 105 · 댓글 26 샘플 음악으로 미국 문화 비판하는 네거틀랜드의 46년 1980년 창립한 실험음악 집단 네거틀랜드는 샘플링과 발견된 자료를 혼합한 '컬처 재밍' 기법으로 30개 이상의 음반과 라디오 프로그램을 제작했다. 기타 · Negativland, Culture Jamming, and the Art of Making Something New
Key Point 저작권 개혁을 주도한 예술 집단의 46년 활동 경로와 샘플링 미술의 법적·창작적 정당성이 어떻게 변화해왔는지 보여준다.
핵심 요약
1980년 창립한 실험음악 집단 네거틀랜드는 샘플링과 발견된 자료를 혼합한 '컬처 재밍' 기법으로 30개 이상의 음반과 라디오 프로그램을 제작했다. 1991년 U2의 곡을 샘플링한 음반으로 저작권 침해 소송을 당했으나, 이를 계기로 미국 저작권 개혁 필요성을 알리고 1995년 '공정한 사용' 관련 책을 출판했다. 1981년부터 방송된 '오버 더 엣지' 라디오 프로그램은 인터넷 아카이브와 협력하여 4000시간 이상이 무료로 보존·공개되고 있다. 전체 요약 5문장 읽기 →