쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
49건 · "로봇 제어"조건 지우기 ×
001 15:11 ▲ 21 · 댓글 4 로봇 에이전트, 채점 기준 노출에 과적합되나 자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. AI · 머신러닝 · Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
Key Point 로봇 에이전트가 실제 과제를 해결하는지 검증 수치를 조작하는지 구분하는 것이 점점 중요해지는 상황에서, CE 관행의 문제점과 해결책을 실증적으로 밝히는 연구입니다.
핵심 요약
자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. 이 기준들은 모방 학습 정책 검증용으로 작성되어 원래 언어 지시사항보다 더 많은 요구사항을 담고 있어, 에이전트가 생성한 로봇 제어 코드의 실제 성능을 정확히 반영하지 못한다. 연구진이 CE 적용 여부를 비교 실험한 결과, CE 적용 시 에이전트는 초기에 주어진 기준 하에서 높은 성공률을 보이지만, 기준을 약간 변경하면 이 우위가 사라진다. 전체 요약 5문장 읽기 → 002 06:11 ▲ 105 · 댓글 41 OpenAI 로봇팀 해체, 범용 AI로의 전환 선언 OpenAI가 독립적인 로봇팀을 해체하고 연구원들을 다른 팀으로 재배치했다. 로봇 연구팀은 최고연구책임자 Mark Chen 산하 메인 연구팀으로, 응용로봇팀과 하드웨어팀은 President Greg Brockman 산하 Applied 조직으로 이동했다. AI · 머신러닝 · OpenAI disbands its robotics team as its general models start running robots
Key Point 범용 AI 모델이 로봇 제어 영역까지 침투하면서 로봇공학의 기술 스택과 경쟁 구도 자체가 재편될 수 있기 때문이다.
핵심 요약
OpenAI가 독립적인 로봇팀을 해체하고 연구원들을 다른 팀으로 재배치했다. 로봇 연구팀은 최고연구책임자 Mark Chen 산하 메인 연구팀으로, 응용로봇팀과 하드웨어팀은 President Greg Brockman 산하 Applied 조직으로 이동했다. OpenAI는 이를 로봇공학에 대한 헌신의 증거로 표현했으며, 로봇공학이 회사의 장기 비전의 핵심이라고 밝혔다. 2024년 창업사 Figure와 협력해 휴머노이드 로봇 AI 개발을 추진했으나 2025년 2월 Figure가 자체 개발로 전환하면서 협력이 종료됐다. AI 산업 전반에서 언어, 코드, 비전 분야의 범용 모델을 로봇 같은 물리적 장치를 제어하는 '구체화된 AI(embodied AI)'에 직접 적용할 수 있다는 가정이 확산 중이다. 이는 로봇 전용 특화 모델을 따로 개발할 필요가 없다는 의미다. 전체 요약 7문장 읽기 → 003 06:11 ▲ 28 · 댓글 3 코딩 에이전트의 로봇 제어 능력을 평가하는 벤치마크 공개 로봇 제어에 코딩 에이전트를 활용하는 새로운 패러다임이 등장하면서, 다양한 로봇을 물리 제약 속에서 제어할 수 있는지 평가할 필요가 생겼다. AI · 머신러닝 · Embodied First Exam
Key Point 로봇 제어에 코딩 에이전트를 활용하려는 움직임이 커지는 가운데, 현실 세계 제약 하에서 얼마나 신뢰할 수 있는지 평가할 수 있는 거대한 벤치마크가 공개됐기 때문이다.
핵심 요약
로봇 제어에 코딩 에이전트를 활용하는 새로운 패러다임이 등장하면서, 다양한 로봇을 물리 제약 속에서 제어할 수 있는지 평가할 필요가 생겼다. 연구팀은 '임보디드 퍼스트 엑삼(Embodied First Exam)'이라는 평가 프레임워크를 개발해 공개했다. 47개 로봇에 걸쳐 35개 스위트의 1,156개 태스크로 구성되며, 직접 제어·코드 제어·정책 학습 중 에이전트가 자유롭게 선택할 수 있다. 전체 요약 7문장 읽기 → 004 18:11 ▲ 23 · 댓글 5 비디오·행동을 함께 학습하는 세계 모델 SWAM 공개 언어-비디오 정렬을 학습한 기반 위에 행동 학습을 추가할 때 기존 정렬이 훼손될 수 있다는 문제를 중점 연구했다. AI · 머신러닝 · SWAM: Scaling World Action Models with Cross-Modal Alignment
Key Point 로봇 제어를 위한 세계 모델의 언어-비디오 정렬 유지 전략이 명확해져, 동작 학습 시 기존 이해 능력을 보존하면서 행동 능력까지 확장하려는 연구자들에게 실질적인 지침을 제공한다.
핵심 요약
언어-비디오 정렬을 학습한 기반 위에 행동 학습을 추가할 때 기존 정렬이 훼손될 수 있다는 문제를 중점 연구했다. 약 47,000시간의 일반 비디오, 1인칭 시점 비디오, UMI 데모, 로봇 데모를 수집하여 데이터 풀을 구성했다. 언어-비디오 감시, 언어-비디오-행동 감시, 두 형태를 결합한 학습이 세계 행동 모델(WAM) 성능에 어떻게 영향 미치는지 체계적으로 분석했다. 전체 요약 9문장 읽기 → 005 15:10 ▲ 52 · 댓글 3 로봇 자율성 향상, 다중에이전트 프레임워크로 실적 2배 이상 돌파 파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. AI · 머신러닝 · Toward the Era of Agentic Embodied Intelligence
Key Point 로봇의 자율적 행동 성능을 2배 이상 끌어올린 프레임워크가 공개될 예정이며, 실제 가정용 로봇 작업에서의 높은 성공률과 빠른 학습 속도는 구체화 AI 실용화에 새로운 기준을 제시한다.
핵심 요약
파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. 연구팀이 A2-MEAS라는 구체화 다중에이전트 프레임워크를 제안했으며, 이는 코드를 확장 인터페이스로 삼는다. 수정 코드는 수정 언어, 공간 증거, 실행 이력, 행동 제안을 결합하며, MetaBrain이 학습 감독과 런타임 지도를 제공한다. 전체 요약 12문장 읽기 → 006 12:11 ▲ 225 · 댓글 613 클로드 페이블·미토스 5.2, 전문가 작업용 초강력 모델 출시 앤스로픽이 클로드 페이블 5.2와 미토스 5.2를 공개했으며, 두 모델은 동일한 기반이지만 페이블에는 사이버보안·생물학 보안 장치가 있어 모든 사용자에게 공개되고, 미토스는 검증 프로그램 신청 시 접근 가능하다. AI · 머신러닝 · Claude Fable 5.2 and Mythos 5.2
Key Point 기업 소프트웨어 마이그레이션부터 블랙홀 이론물리 증명, 신약 전달용 단백질 설계까지 광범위한 분야에서 실제 문제를 해결하는 모델이 나왔으며, 이전 모델 대비 저렴한 가격으로 성능을 크게 향상시켰다.
핵심 요약
앤스로픽이 클로드 페이블 5.2와 미토스 5.2를 공개했으며, 두 모델은 동일한 기반이지만 페이블에는 사이버보안·생물학 보안 장치가 있어 모든 사용자에게 공개되고, 미토스는 검증 프로그램 신청 시 접근 가능하다. 페이블 5.2와 미토스 5.2는 코딩, 추론, 비전에서 이전 버전 대비 개선되었으며, 입력 토큰당 $8, 출력 토큰당 $40으로 페이블 5.1보다 저렴하고 토큰 생성 속도는 최대 30% 빨라졌다. 선택적 고속 모드는 토큰 생성을 최대 2.5배 빠르게 하며 입력 토큰당 $16, 출력 토큰당 $80이다. 전체 요약 12문장 읽기 → 007 06:11 ▲ 662 · 댓글 352 Claude Fable 5.2와 Mythos 5.2 공개, 코딩·과학 성능 대폭 향상 Anthropic이 Claude Fable 5.2와 Claude Mythos 5.2를 공개했으며, 두 모델은 같은 기반 모델이지만 Mythos는 사이버보안·생물학 분야 검증 프로그램을 통해 제한적으로 제공된다. AI · 머신러닝 · Claude Fable 5.2 and Mythos 5.2
Key Point Fable 5.2와 Mythos 5.2는 상용 모델 중 가장 복잡한 엔지니어링·연구 작업을 수행할 수 있도록 설계되었으며, 코딩·수학 증명·물리학 문제 해결에서 구체적인 성과를 입증해 AI 실무 활용의 경계를 넓혔다.
핵심 요약
Anthropic이 Claude Fable 5.2와 Claude Mythos 5.2를 공개했으며, 두 모델은 같은 기반 모델이지만 Mythos는 사이버보안·생물학 분야 검증 프로그램을 통해 제한적으로 제공된다. 테스트 결과 Fable 5.2와 Mythos 5.2는 이전 버전 대비 커뮤니케이션이 명확하고, 토큰 생성 속도는 30% 빠르며, 입력 토큰 800만 개당 $8, 출력 토큰 100만 개당 $40으로 가격이 인하됐다. 선택적 fast mode는 토큰 생성을 최대 2.5배 가속하며 입력 토큰당 $16, 출력 토큰당 $80이다. 전체 요약 16문장 읽기 → 008 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 009 12:54 ▲ 10 · 댓글 2 로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. AI · 머신러닝 · PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
Key Point 대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다. 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다. 전체 요약 7문장 읽기 → 010 15:11 ▲ 45 · 댓글 1 오픈 모델로 로봇 제어 AI 민주화 로봇 제어 AI(RUA)는 뛰어난 제로샷 조작 성능을 보이지만 구글, OpenAI 같은 상용 모델에 의존해 연구가 제한됐다. AI · 머신러닝 · Democratizing Robot-Use Agents: A Unified Harness with Open Models
Key Point 오픈 모델로 상용 API 없이도 로봇 제어 AI를 학습·개발할 수 있는 길이 열렸고, 작은 오픈 모델이 폐쇄형 최신 모델을 이미 능가하는 결과가 나왔기 때문이다.
핵심 요약
로봇 제어 AI(RUA)는 뛰어난 제로샷 조작 성능을 보이지만 구글, OpenAI 같은 상용 모델에 의존해 연구가 제한됐다. 연구팀이 uni-robot-agent라는 오픈 가중치 로봇 제어용 통합 프레임워크를 공개했고, 추가 학습을 지원한다. 특수한 입력 없이 Qwen 3.8-Flash-Next가 RoboDojo 기준 31.39점을 달성, 공개된 GPT-6 Astra-RoboProbe의 28.97점을 넘었다. 전체 요약 5문장 읽기 → 011 03:11 ▲ 25 · 댓글 2 한 번의 생성으로 실시간 제어, OSWAM 발표 직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. AI · 머신러닝 · OSWAM: An Effective World Action Model with One-Step Action Generation
Key Point 자율주행과 로봇 제어의 실시간 의사결정이 필요한 상황에서 한 단계의 빠른 생성으로 충분한 품질을 내는 새로운 방식이 제시됨에 따라 실제 배포 가능성이 크게 높아졌다.
핵심 요약
직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. 노이즈 제거 단계를 단순히 줄이면 비선형 다단계 궤적이 무너져 행동 품질이 크게 저하된다. 이 문제를 해결하기 위해 연구진은 한 단계의 확산만으로 고품질 행동을 생성하는 OSWAM(One-Step World Action Model)을 제안했다. 전체 요약 7문장 읽기 → 012 21:11 ▲ 17 · 댓글 4 로봇 제어의 '뇌와 소뇌'를 한곳에 모은 REA 런타임 파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. AI · 머신러닝 · REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
Key Point 로봇 제어에서 느린 '뇌'와 빠른 '소뇌'의 충돌을 런타임 수준에서 해결한 새로운 접근으로, 실제 로봇 작업에서 기존 방식보다 25~26% 더 효율적으로 작동함을 보여줍니다.
핵심 요약
파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. REA는 deliberative System 2(파운데이션 모델), embodied router System 1(라우터), reactive System 0(빠른 정책)을 하나의 런타임에서 조율하는 통합 시스템이다. 핵심 규칙은 '어떤 실행 정책도 뇌의 응답을 기다리지 않는다'는 것으로, 비동기 조율을 통해 속도 저하를 방지한다. 전체 요약 7문장 읽기 → 013 21:11 ▲ 16 · 댓글 2 휴머노이드 로봇을 위한 멀티모달 기초 모델 HuGe 공개 VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. AI · 머신러닝 · HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
Key Point 휴머노이드 로봇 제어에 인간 동작 데이터를 효과적으로 활용할 수 있는 방법론이 제시되면서, 로봇 학습 데이터 수집 비용을 크게 줄일 수 있는 길이 열렸기 때문이다.
핵심 요약
VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. HuGe는 2,000시간 이상의 1인칭 관점 인간 및 로봇 데이터로 사전학습한 휴머노이드 VLA 모델이다. 세 가지 기존 VLA 아키텍처를 사용해 사전학습된 전신 제어기를 위한 잠재 동작 토큰과 손 제어 신호를 예측한다. 전체 요약 6문장 읽기 → 014 18:11 ▲ 151 · 댓글 2 로봇 제어 성능 높이는 물리 역학 이해 모델 PDRVLA 로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. AI · 머신러닝 · PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
Key Point 로봇 제어 시뮬레이션에서 최고 수준의 성공률을 달성한 새로운 방식이 기존 비디오 생성 방식의 지연 문제를 해결하고 공개 데이터만으로 학습 가능함을 보여준다.
핵심 요약
로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. 기존 비디오 세계 모델은 동역학을 포착하지만 미래 프레임을 생성해야 해 제어 지연이 발생하는데, PDRVLA는 가벼운 물리역학 모듈로 온라인 비디오 생성 없이 행동 생성을 조건화한다. 이 모듈은 미래 RGB, 깊이, 광학 흐름(optical flow) 특성을 직접 예측하며, 동결된 사전 학습 비디오 세계 모델을 통해 보조 감시를 받는다. 전체 요약 6문장 읽기 → 015 18:11 ▲ 22 · 댓글 2 LLM에 로봇 제어 패널만 달면 VLA 모델을 이긴다 로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. AI · 머신러닝 · RoboHarness: A Simple Harness Outperforms VLA and World Action Models
Key Point 대규모 로봇 학습 데이터 없이도 기존 LLM으로 로봇 제어가 가능하다는 것을 보였기에, 구체화된 AI 개발의 패러다임 전환 가능성을 시사한다.
핵심 요약
로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. 연구팀은 RoboHarness라는 로봇 제어 인터페이스를 제시해, LLM이 시각-기하학적 제어판을 통해 직접 로봇 동작을 이해하고 호출할 수 있게 했다. VLA 모델 대신 코딩 능력이 있는 LLM 에이전트에 간단한 로봇 장치만 제공하면, 로봇 조작 작업을 수행할 수 있다는 가정에 기반한다. 전체 요약 5문장 읽기 → 016 12:11 ▲ 30 · 댓글 3 로봇 조작 모델을 키우다, 영상에서 추출한 3D 행동으로 로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. AI · 머신러닝 · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions
Key Point 로봇 학습 데이터의 부족 문제를 해결하는 새로운 방법론으로, 일반 영상에서 로봇이 학습할 수 있는 신호를 뽑아낼 수 있음을 시사한다.
핵심 요약
로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. RynnVLA-Latent는 이를 해결하기 위해 사람, 로봇, 시뮬레이션 영상을 로봇 정책 사전학습용 감독 신호로 바꾼다. 핵심은 RynnLAM으로, 시각 전환(visual transition)에서 실제 로봇 제어 없이 3D 기반 잠재 행동을 학습한다. 전체 요약 10문장 읽기 → 017 15:11 ▲ 55 · 댓글 4 마인크래프트 정복하는 비전 언어 행동 에이전트 마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. AI · 머신러닝 · HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
Key Point 실제 마인크래프트 환경에서 인간 수준의 자율 행동을 보이는 에이전트가 처음 실현되었으며, 이는 게임 AI뿐 아니라 로봇 제어, 업무 자동화 등 복잡한 실제 환경에서의 에이전트 설계 방식을 재정의할 수 있다.
핵심 요약
마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. HiSTEVE는 계층적 VLA 에이전트로, 상위 수준의 조율 계층과 하위 수준의 제어 계층으로 구성되어 있다. 조율 계층은 구조화된 메모리로 진행상황을 추적하고 VLM 플래너로 수행 가능한 부작업을 선택하며, 정책 기반 작업 완료 감지기로 부작업 완료 여부를 판단한다. 전체 요약 7문장 읽기 → 018 15:11 ▲ 54 · 댓글 2 RynnUnify: 로봇 제어까지 아우르는 통합 embodied AI 모델 RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. AI · 머신러닝 · RynnUnify: Towards Unified Embodied Brain
Key Point 물리 세계 이해부터 실제 로봇 제어까지 하나의 모델으로 통합하려는 시도로, embodied AI 연구의 새로운 기준을 제시한다.
핵심 요약
RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. 공간 추론, 물리 예측, 그라운딩 능력으로 물리 세계에 대한 이해와 변화 예측을 연결한다. 강화학습으로 에이전트 확장 버전을 개발했으며, 관찰되지 않은 상태와 상호작용 결과 추론을 위해 영상 예측을 선택적으로 활용한다. 전체 요약 8문장 읽기 → 019 06:11 ▲ 106 · 댓글 57 Dream-1, 미세조정 없이 새 로봇 제어하는 범용 로봇 정책 공개 Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. AI · 머신러닝 · Dream-1
Key Point 기존 로봇은 각 기종마다 별도 데이터와 미세조정이 필요했지만, Dream-1은 처음 보는 로봇을 즉시 제어할 수 있어 로봇 개발자와 스타트업의 진입장벽을 크게 낮춘다.
핵심 요약
Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. Dream-1은 이전에 본 적 없는 로봇, 작업, 환경에서 제로샷 일반화가 가능하며, 미세조정이나 로봇별 데이터 수집 없이도 작동한다. 로봇팔 비용이 $2k까지 하락하고 하양이 $399짜리 마이크로덕 4일간 1만 대 이상 판매되면서 대중용 로봇 시장이 성장 중이다. 전체 요약 13문장 읽기 → 020 15:11 ▲ 155 · 댓글 2 한 손 조작 넘어 양손 협력까지, 범용 로봇 제어 모델 DONIC 기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. AI · 머신러닝 · DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations
Key Point 로봇이 두 손을 동시에 협력시켜 복잡한 조작 작업을 할 수 있도록 하는 첫 범용 모델로, 인간의 시연 영상만으로 학습할 수 있다는 점이 실용적 의미를 갖는다.
핵심 요약
기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. 연구팀은 첫 범용 양손 추적기 DONIC과 229개 물체를 포함한 1,575개 시퀀스의 양손 상호작용 데이터셋 BiHOI를 공개했다. DONIC은 근처정책최적화(PPO)와 행동복제를 결합하고, 성공한 실행을 재훈련 데이터로 재활용하는 피드백 루프를 사용한다. 전체 요약 6문장 읽기 → 021 15:11 ▲ 22 · 댓글 2 멀티모달 에이전트, 로봇 제어로 확장할 때 뭐가 달라지나 멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. AI · 머신러닝 · Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
Key Point 컴퓨터 조작 AI와 로봇 제어의 근본적 차이를 정의하고, 로봇 에이전트 개발 시 현재 벤치마크가 놓친 부분을 지적해 향후 평가 방식 개선의 방향을 제시한다.
핵심 요약
멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. 멀티모달 임보디드 에이전트(MMEA)를 정의하면, 멀티모달 작업 추론을 물리 동작과 결합하고 그 결과 피드백으로 결정을 수정하는 목표 지향 시스템이다. 논문은 PAPAV라는 통합 프레임워크를 제시하며, 인식(Perceive)·예측(Anticipate)·계획(Plan)·행동(Act)·검증(Verify)의 5가지 반복 기능으로 세 시스템을 비교한다. 전체 요약 6문장 읽기 → 022 12:11 ▲ 42 · 댓글 2 로봇 플래너도 포스트트레이닝으로 강화된다 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. AI · 머신러닝 · AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Key Point 작은 오픈소스 로봇 모델도 정교한 포스트트레이닝으로 폐쇄형 거대모델 수준의 성능을 낼 수 있다는 점이 로봇 개발자와 AI 연구자들에게 실질적인 의미를 갖는다.
핵심 요약
로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다. 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다. 전체 요약 8문장 읽기 → 023 15:11 ▲ 141 · 댓글 2 인간·로봇 동작 예측 통합 모델 'Ropedia W0' 공개 세계 모델을 통해 구체화된 에이전트(로봇·인간)의 행동 결과를 예측할 수 있는데, 다양한 체형의 이동과 조작을 동시에 모델링하기는 어려웠다. AI · 머신러닝 · Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
Key Point 인간의 움직임 데이터로 학습한 로봇 제어 모델이 현실에서 어떻게 작동할지를 보여주는 기초 연구로, 로봇 에이전트의 자율성 향상에 필요한 예측 능력의 스케일링 가능성을 제시한다.
핵심 요약
세계 모델을 통해 구체화된 에이전트(로봇·인간)의 행동 결과를 예측할 수 있는데, 다양한 체형의 이동과 조작을 동시에 모델링하기는 어려웠다. Ropedia W0은 인간과 로봇을 아우르는 첫 자아중심형 이동·조작 월드 파운데이션 모델로, 10,000시간의 인간 시점 영상과 3,000시간의 로봇 데이터(통합 멀티모달 주석 및 품질 관리 포함)로 구성된 Xp-Data를 수집했다. 이동은 카메라 포즈로, 조작은 투영된 골격으로 인코딩하는 통합 운동학 표현을 사용하며, 로봇 골격은 체형별 순기구학과 광범위한 수동 키포인트 주석·수정을 결합한다. 전체 요약 8문장 읽기 → 024 15:11 ▲ 48 · 댓글 2 3D 궤적으로 멀티뷰 영상 예측하는 VPM 모델 공개 Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. AI · 머신러닝 · Learning the 4D World through Point Trajectory Forecasting
Key Point 멀티뷰 영상에서 3D 구조 이해와 동작 제어를 동시에 달성하는 새로운 접근법으로, 로봇 비전과 4D 생성 분야에 실질적인 개선을 가져온다.
핵심 요약
Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. 사전학습된 월드 모델을 확장해 카메라 조건부 멀티뷰 처리를 통해 여러 카메라의 보충적 정보를 통합하고, 물리적 점의 시간에 따른 움직임을 예측하는 궤적 헤드를 추가했다. 각 궤적은 모든 뷰에서 단일 점을 추적하며, 이를 영상 생성과 함께 감독함으로써 모든 카메라에서의 외관 변화를 3D 움직임의 공유된 설명으로 정렬한다. 전체 요약 6문장 읽기 → 025 15:11 ▲ 43 · 댓글 3 로봇 행동 예측 AI, 시각 정보 처리 30배 효율화 기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. AI · 머신러닝 · BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
Key Point 로봇 행동 모델의 계산 효율을 대폭 개선하면서 성능은 유지하는 기술로, 로봇 제어 AI의 실시간성과 비용 효율성을 높이는 방향을 제시한다.
핵심 요약
기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. BridgeWAM은 시각·언어·고유감각 정보를 32개의 Latent Bridge Queries(LBQs)를 통해 제한된 공유 잠재 공간으로 집약하는 Bridge-of-Experts 구조를 도입했다. 행동 예측 그래디언트가 비디오 전문가를 행동 예측에 적합한 표현으로 유도하고, 행동 전문가는 교차 주의를 통해 작업 관련 정보를 선택적으로 검색한다. 전체 요약 7문장 읽기 → 026 18:11 ▲ 54 · 댓글 2 로봇 제어 성능 높이는 'VLA-Δ' 프레임워크 공개 Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. AI · 머신러닝 · VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models
Key Point 로봇 제어 분야의 VLA 모델이 물리적 상태 변화를 명시적으로 학습하는 새로운 접근으로 기존 과적합 문제를 해결하고 성능을 향상시킨 점이 중요하다.
핵심 요약
Vision-language-action(VLA) 모델이 비전-언어 사전학습 지식을 로봇 제어에 적용하지만, 대부분은 관찰과 행동을 직접 매핑하며 중간 물리 상태 변화를 명시적으로 학습하지 않아 관찰-행동 대응에 과적합되는 문제가 있다. 기존 방법들은 언어·시각·잠재 공간에서 중간 추론이나 미래 상태 예측을 도입했으나, 실제 물리적 상태 전환 자체는 명시적으로 학습하지 않았다. 연구팀은 현재 상태와 미래 상태 간 물리적 변화를 직접 학습 목표로 삼는 VLA-Δ 프레임워크를 제안했다. 전체 요약 7문장 읽기 → 027 18:11 ▲ 354 · 댓글 2 VLM의 "빠른 사고": 공간 추론을 분류 문제로 재구성 비전-언어 모델(VLM)이 공간 관계, 거리, 위치 같은 질문에 자동 회귀 방식으로 텍스트를 생성하는 것은 비효율적이다. 이에 MJev-Spatial은 공간 이해 작업을 통일된 분류 프레임워크로 재구성한 System 1 모델이다. AI · 머신러닝 · MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
Key Point 공간 추론 같은 제약된 답변 공간 작업을 분류로 바꾸면 자동 회귀 생성의 지연 없이 단일 포워드 패스로 정확하게 풀 수 있으며, 이는 로봇 제어나 실시간 상호작용이 필요한 애플리케이션의 성능 개선으로 이어진다.
핵심 요약
비전-언어 모델(VLM)이 공간 관계, 거리, 위치 같은 질문에 자동 회귀 방식으로 텍스트를 생성하는 것은 비효율적이다. 이에 MJev-Spatial은 공간 이해 작업을 통일된 분류 프레임워크로 재구성한 System 1 모델이다. 선택 문제는 주어진 옵션을 클래스로, 수치 예측은 값 범위를 이진 분류 단계로, 점 예측은 이미지 영역을 단계적으로 분류하는 방식이다. 기존 VLM의 쿼리-키 사영을 재사용해 추가 파라미터 없이 후보를 점수 매기므로, 추론 시 단 한 번의 포워드 패스로 답을 내놓고 답변 토큰을 생성하지 않는다. 전체 요약 5문장 읽기 → 028 18:11 ▲ 25 · 댓글 2 3D 메시 움직임 복원, 스케일 분리로 범용화 희소한 정점 변위로부터 촘촘한 메시 움직임을 복원하는 문제를 다룬다. AI · 머신러닝 · Cepheid: Decoupling Scale from Structure for Cross-Family Motion Completion
Key Point 3D 애니메이션 제작과 로봇 제어에서 부분 관측만으로 전체 움직임을 복원하는 핵심 문제를 해결했으며, 단일 모델로 다양한 대상에 일반화되는 점이 기술적 진전을 의미한다.
핵심 요약
희소한 정점 변위로부터 촘촘한 메시 움직임을 복원하는 문제를 다룬다. 기존 학습 기반 잔차 사전은 특정 형태군(의류, 동물 등)에서만 기존 조화 확장을 넘지 못했다. 스케일 문제: 기하학 형태군 간 잔차 진폭이 10배 이상 차이나며, 관측값이 많아지면 붕괴된다. 전체 요약 6문장 읽기 → 029 12:11 ▲ 64 · 댓글 1 픽셀 재구성 없이 로봇 제어하는 JEPA 모델 등장 Joint-embedding predictive architectures (JEPAs)는 픽셀 재구성 없이 간결한 잠재 세계 모델을 학습하는 방식인데, 기존 파이프라인은 시각 표현과 행동 조건 역학을 따로 학습한 뒤 정책을 추가했다. AI · 머신러닝 · LeWAM: End-to-End World and Action Modeling with JEPAs
Key Point 기존 세계 모델 방식을 통합해 로봇 제어 성공률을 3배 이상 높이고 계획 속도를 획기적으로 개선한 새로운 아키텍처로, 시뮬레이션과 실제 로봇 모두에서 실용성을 입증했다.
핵심 요약
Joint-embedding predictive architectures (JEPAs)는 픽셀 재구성 없이 간결한 잠재 세계 모델을 학습하는 방식인데, 기존 파이프라인은 시각 표현과 행동 조건 역학을 따로 학습한 뒤 정책을 추가했다. 레카이(LeWAM)는 엔드-투-엔드 JEPA로서 다음 잠재 상태 예측과 행동 흐름 매칭을 함께 학습하고, 잠재 상태에 등방 가우시안 제약을 적용한다. 이 설계로 하나의 모델이 정책 직접 실행과 학습된 잠재 역학으로 샘플 행동을 평가하는 효율적인 계획을 모두 지원할 수 있다. 전체 요약 6문장 읽기 → 030 06:11 ▲ 146 · 댓글 39 로봇 물리 제어 위해 특화된 제미니 4 아르곤 공개 구글이 로봇공학 전문 대규모 언어 모델 제미니 4 아르곤을 발표했다. AI · 머신러닝 · Gemini 4 Argon for Robotics
Key Point 3D 물리 환경에서 로봇 제어·시뮬레이션·코드 생성을 통합적으로 처리하는 AI 모델의 등장으로, 로봇공학 개발의 전체 워크플로우가 단순화될 수 있는 전환점이 될 수 있다.
핵심 요약
구글이 로봇공학 전문 대규모 언어 모델 제미니 4 아르곤을 발표했다. 아르곤은 ERQA 벤치마크에서 순수 추론으로 87% 점수를 달성해 다른 모든 경쟁 모델을 능가한다. 보스턴 다이나믹스 스팟 로봇 제어, 로봇팔 조작 작업, 3D 환경 내 물체 배열 등 로봇공학 전주기에 적용 가능하다. 전체 요약 12문장 읽기 → 031 18:12 ▲ 139 · 댓글 2 로봇 팔이 던져진 상자를 받는다 - 시각·반사·전신제어 동시에 인간은 테니스 공 받기, 떨어지는 컵 잡기 같은 일상 동작을 1초 안에 시각과 반사신경으로 처리하지만, 휴머노이드 로봇은 이를 어렵게 느낀다. AI · 머신러닝 · Reflex: Visually Grounded Reactive Humanoid Control
Key Point 시각 피드백 기반의 실시간 전신 제어라는 난제를 단계별 학습으로 풀었고, 실제 로봇에서 인간 수준의 반사 동작 구현에 가까워지고 있습니다.
핵심 요약
인간은 테니스 공 받기, 떨어지는 컵 잡기 같은 일상 동작을 1초 안에 시각과 반사신경으로 처리하지만, 휴머노이드 로봇은 이를 어렵게 느낀다. Reflex는 던져진 상자 잡기를 목표로 전신 제어·물체 동역학 예측·시각 인지 세 가지 능력을 단계별로 학습하는 프레임워크다. 첫 번째 단계에서는 강화학습으로 상태 기반 전신 잡기 정책을 학습하고, 두 번째는 불완전하고 지연된 관찰에서 움직이는 상자의 동역학을 추론하며, 세 번째는 RGB-D 카메라로부터 직접 동역학을 복원한다. 전체 요약 6문장 읽기 → 032 00:11 ▲ 40 · 댓글 1 로봇 기초 모델의 한 번에 생성하는 동작 정책 K-MF 제안 로봇 기초 모델(RFM)에서 다단계 플로우 매칭의 높은 추론 지연을 극복하기 위해 한 번에 동작을 생성하는 방법을 연구했다. AI · 머신러닝 · Kinematic MeanFlow: One-Step Action Generation Policy for Robotic Foundation Models
Key Point 로봇 기초 모델의 추론 속도를 30~55% 단축할 수 있는 기법이 공개되었으므로, 실시간 로봇 제어가 필요한 현장 적용에 큰 영향을 미칠 수 있다.
핵심 요약
로봇 기초 모델(RFM)에서 다단계 플로우 매칭의 높은 추론 지연을 극복하기 위해 한 번에 동작을 생성하는 방법을 연구했다. 기존 MeanFlow 방식을 직접 적용하면 성능이 무너지는데, RFM 속도장의 두 가지 특수한 역학 때문이다: (1) '로컬 가속도'는 초기에는 안정적이지만 노이징 제거 후기에 급격히 증가, (2) 표본 간 크기의 편차가 노이징 제거가 진행될수록 확대된다. 이를 해결하기 위해 Kinematic MeanFlow(K-MF)를 제안했다. K-MF는 운동학적 항등식에 근거해 MeanFlow의 시간 미분항을 중간점으로 분리된 두 개의 부분 구간항으로 분해한다. 전체 요약 6문장 읽기 → 033 00:11 ▲ 20 · 댓글 2 Flow 정책 미세조정을 위한 스칼라 수반 매칭 기법 Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. AI · 머신러닝 · Q-Learning with Scalar Adjoint Matching
Key Point Flow 정책의 강화학습 미세조정 비용을 획기적으로 줄이면서도 실제 로봇 제어까지 검증한 실용적 알고리즘이 제안되었다.
핵심 요약
Flow 정책은 다양한 행동 분포를 포착하며, 데모 데이터를 넘어 성능을 높이기 위해 오프-폴리시 강화학습으로 미세조정하는 방식이 주목받고 있다. Flow 정책을 학습된 가치 함수로 미세조정하는 것은 정책이 많은 Flow 스텝을 거쳐 행동을 생성하므로 비자명하다. 기존 수반 매칭은 최종 행동에서 각 Flow 스텝으로 가치 정보를 역전파하는 원칙적 방법이지만, 매 스텝마다 벡터-야코비안 곱을 요구해 계산 비용이 Flow 스텝 수와 정책 크기에 따라 증가한다. 전체 요약 9문장 읽기 → 034 18:30 ▲ 31 · 댓글 2 멀티모달 AI 에이전트, 로봇 제어는 여전히 어렵다 Hugging Face와 연구팀이 로봇 제어 능력을 평가하는 벤치마크 'RobotWorld'를 공개했다. AI · 머신러닝 · RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments
Key Point 최고 성능의 멀티모달 AI도 로봇 제어에서 단편적 성공에 그치며 작업 완료로 이어지지 않는 구조적 한계를 보여주는 결과물로, 현재 생성 AI의 물리 세계 응용 가능성을 재평가하는 데 필수적이다.
핵심 요약
Hugging Face와 연구팀이 로봇 제어 능력을 평가하는 벤치마크 'RobotWorld'를 공개했다. 조작, 이동 조작, 보행, 운전, 비행 제어 등 84개 작업으로 구성되며, 명시적 상호작용 예산과 성공 판정 기준을 제공한다. Claude Astra, Claude Opus 5.5 등 주요 멀티모달 에이전트를 테스트한 결과, 이미지 분할, 카메라 보정, 공간 추정 등 정교한 인식 및 제어 워크플로우를 구축할 수 있음을 확인했다. 전체 요약 7문장 읽기 → 035 18:30 ▲ 94 · 댓글 2 로봇 실시간 제어, 영상 메모리 19초 활용하면 성공률 63→79% 로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. AI · 머신러닝 · Long-WAM: Scaling the Context of World-Action Models
Key Point 로봇 제어에서 짧은 지연(107ms)로 19초 영상 메모리를 활용하면서 복잡한 조작 작업에서 대폭 높은 성공률을 달성한 실시간 배포 기술이기 때문이다.
핵심 요약
로봇의 실시간 제어에는 충분한 영상 히스토리가 필요하지만, 이를 처리하는 과정에서 지연이 발생한다. Long-WAM은 실시간 제어 제약 속에서 인과적 세계-행동 모델의 맥락을 확장하기 위한 모델-시스템 프레임워크이다. 핵심 발견: 긴 히스토리에 접근하는 것과 실제로 사용하는 것은 다르며, 비디오 기초 모델이 자기회귀(AR) 방식으로 사전학습될 때 더 큰 이득이 난다. 전체 요약 12문장 읽기 → 036 18:33 ▲ 27 · 댓글 2 인간 영상에서 로봇 정책 학습, 스펙트럼 분석으로 동작 전이 로봇 조작 정책 학습에는 대규모 실제 상호작용 데이터가 필요한데, 시연 수집이 비용이 크고 확장이 어렵다는 문제가 있다. AI · 머신러닝 · World Action Learning via Interaction-Centric Spectral Latent Guidance
Key Point 로봇 학습 데이터 수집 비용을 획기적으로 줄일 수 있는 기술로, 인간 동영상 활용이라는 실질적인 해결책을 제시하고 있다.
핵심 요약
로봇 조작 정책 학습에는 대규모 실제 상호작용 데이터가 필요한데, 시연 수집이 비용이 크고 확장이 어렵다는 문제가 있다. 1인칭 카메라 영상은 풍부한 인간 상호작용 경험을 담고 있지만, 프레임 재구성으로 추론한 동작이 카메라 움직임 같은 노이즈에 지배당하고 인간과 로봇의 시간 역학이 다르다는 두 가지 어려움이 있다. WING(World Action Learning via INteraction-Centric Spectral Latent Guidance) 프레임워크는 1인칭 영상의 상호작용 지식을 로봇 정책으로 전이한다. 전체 요약 7문장 읽기 → 037 18:33 ▲ 12 · 댓글 2 로봇 동작 예측을 25배 빠르게 하는 원스텝 AI 모델 World Action Models(WAM)은 비디오 생성 모델에서 시각 정보를 추출해 로봇의 동작 예측을 안내하는데, 기존 효율형 모델도 멀티스텝 디노이징과 전문가 모듈 간 순차 대기로 인해 느렸다. AI · 머신러닝 · RealtimeWAM: One-Step Asynchronous World Action Models
Key Point 비디오 생성 기반 로봇 동작 모델의 추론 속도를 극적으로 개선하는 기술이 공개되었으며, 성능 손실 거의 없이 25배 가속을 달성해 실시간 로봇 제어 애플리케이션을 가능하게 한다.
핵심 요약
World Action Models(WAM)은 비디오 생성 모델에서 시각 정보를 추출해 로봇의 동작 예측을 안내하는데, 기존 효율형 모델도 멀티스텝 디노이징과 전문가 모듈 간 순차 대기로 인해 느렸다. RealtimeWAM은 원스텝 동작 생성과 비동기 추론으로 이 두 병목을 해결한다. 멀티스텝 반복을 줄이기 위해 Teacher-Anchored Consistency Distillation(TACD)을 제안했는데, 이는 국소 일관성 오차만으로는 정확한 최종 동작을 보장할 수 없다는 문제를 해결하고 동결된 교사 모델의 멀티스텝 롤아웃 결과로 명시적 감독을 추가한다. 전체 요약 7문장 읽기 → 038 18:35 ▲ 43 · 댓글 2 손재주 많은 로봇 제어, 3D 점군으로 배운다 세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. AI · 머신러닝 · PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
Key Point 기존 손재주 로봇 조작 모델은 평면 이미지와 1차원 관절각만 다루며 3D 공간 기하를 놓쳤던 근본적 한계를 점군으로 해결한 접근법이 기존 방식을 11.7포인트 이상 추월했다.
핵심 요약
세계 동역학과 로봇 행동을 함께 학습하는 월드 액션 모델에서, 기존 방식은 RGB 프레임이나 잠재 표현으로 세계를 모델링하고 손목 각도 같은 1차원 값으로만 행동을 예측해 3D 공간 구조와 접촉 기하를 놓쳤다. Point World Action Model (PointWAM)은 환경과 손을 공유 시공간 좌표에서 3D 점 궤적으로 명시적, 분리적으로 표현하고 함께 예측한다. 작업별 물체 또는 키포인트 선택 없이 대규모 인간 시연 영상으로 사전학습할 수 있으며, 컬러 포인트 클라우드와 언어 지시로부터 장면과 손이 3D 공간에서 시간 경과에 따라 어떻게 공진화하는지 예측한 후 손 동작을 로봇 행동으로 재타겟팅한다. 전체 요약 4문장 읽기 → 039 06:11 ▲ 25 · 댓글 3 로봇 제어를 위한 생성형 디노이징 방식 NowWAM 제안 사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. AI · 머신러닝 · Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
Key Point 기존의 영상 예측 기반 로봇 제어 방식에서 벗어나 더 효율적인 디노이징 방식이 비슷하거나 더 나은 성능을 내면서도 계산량은 절반, 추론 속도는 1.8배 빠르다는 점이 실제 로봇 응용에서 의미가 있습니다.
핵심 요약
사전학습된 확산 변환기(Diffusion Transformers)는 대규모 이미지·영상 생성 학습을 통해 풍부한 시각·언어 조건 구조를 포착했지만, 이를 로봇 제어에 옮기는 방식은 불명확하고 기존 방법들은 주로 미래 시각 예측을 통해 전이했다. 본 논문은 사전학습된 생성형 모델이 행동 학습에 실제로 무엇을 기여하는지, 그리고 제어를 위해 어떻게 적응해야 하는지 묻는다. NowWAM은 현재 관찰을 디노이징하고 같은 시각 스트림에서 로봇 행동을 예측하는 미래-목표-자유 방식의 공동 학습 방식으로, 생성 목표를 디노이징 궤적 전체에서 행동 표현에 직접 연결한다. 전체 요약 7문장 읽기 → 040 21:11 ▲ 78 · 댓글 2 행동 라벨 없이 영상에서 로봇 제어 정책 학습하는 NAVA-WAM 세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. AI · 머신러닝 · Native Action-Prior Learning from Videos for World Action Models
Key Point 로봇 제어에 필수적인 행동 라벨 데이터 의존성을 제거하고 일반 영상만으로 로봇 정책을 학습하는 새로운 접근법을 제시해, 로봇 학습의 데이터 수집 병목을 해결한다.
핵심 요약
세계 행동 모델(world action models)은 미래 시각 동역학과 로봇 행동 예측을 통합하지만, 행동 주석이 달린 로봇 궤적 데이터가 필요해 확장성이 제한된다. 관찰만 가능한 일반 영상에는 상호작용 역학에 대한 풍부한 정보가 있지만, 기존 방식은 이를 시각 표현 사전학습 또는 잠재 행동 추론에만 활용했다. NAVA-WAM은 행동 라벨 없는 영상에서 직접 행동 정책을 사전학습하는 '원시 행동 사전 학습(native action-prior learning)'을 도입해, 간접적인 표현-제어 전이나 별도의 잠재 행동 모델을 피한다. 전체 요약 7문장 읽기 → 041 21:11 ▲ 80 · 댓글 2 로봇 움직임 미리보기로 장시간 작업 계획하는 ProWAM 로봇 제어용 월드 액션 모델(WAM)은 초기 관찰과 명령으로부터 시각적 역학과 행동을 동시에 예측하지만, 긴 시간 범위의 예측에서 어려움을 겪는다. AI · 머신러닝 · World Action Modeling with Progressive Visual Planning
Key Point 로봇 제어 분야에서 시각적 중간 목표를 통해 긴 수열의 작업을 효율적으로 계획하고, 현실 환경에서도 높은 성공률을 달성한 새로운 접근법이 소개됐다.
핵심 요약
로봇 제어용 월드 액션 모델(WAM)은 초기 관찰과 명령으로부터 시각적 역학과 행동을 동시에 예측하지만, 긴 시간 범위의 예측에서 어려움을 겪는다. 기존 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하는 방식도 있으나, 목표 달성 과정을 안내하지 못한다는 한계가 있다. ProWAM은 행동과 순서가 정해진 희소 시각적 서브골(중간 목표)의 시퀀스를 함께 예측해, 작업 실행 중 행동 생성을 위한 명시적 시각 안내를 제공한다. 전체 요약 8문장 읽기 → 042 15:11 ▲ 89 · 댓글 2 일반 비전-언어 모델로 로봇 조작 가능하게 하는 MotorMind VLA(비전-언어-액션) 모델은 로봇 조작을 발전시켰으나 새로운 작업과 환경에서 제로샷 일반화가 제한적이고, 전문 훈련에 의존하면서 범용 VLM의 빠른 발전 혜택을 받지 못했다. AI · 머신러닝 · MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
Key Point 일반 AI 모델만으로 로봇을 제어하는 새로운 방식이 기존 전문화된 방법들을 크게 능가한 성능을 보여주므로, AI와 로봇 응용 경계에서의 구조적 전환을 의미한다.
핵심 요약
VLA(비전-언어-액션) 모델은 로봇 조작을 발전시켰으나 새로운 작업과 환경에서 제로샷 일반화가 제한적이고, 전문 훈련에 의존하면서 범용 VLM의 빠른 발전 혜택을 받지 못했다. 기존 에이전트 로봇 시스템은 고수준 추론을 위해 VLM을, 제어를 위해 코딩 에이전트를 활용하지만 외부 모델과 도구에 의존해 복잡도와 비용이 증가한다. MotorMind는 범용 VLM이 사람 원격조작자처럼 관찰에서 직접 추론하고 액션을 지시하며 실행 피드백에 적응할 수 있게 하는 로봇 조작 프레임워크다. 전체 요약 8문장 읽기 → 043 00:11 ▲ 44 · 댓글 2 로봇 제어에서 토큰 65% 줄이고 성공률 14% 높인 GPT-6 에이전트 로봇 제어 작업에서 VLM 에이전트가 매번 모델을 호출할 때마다 토큰이 과다하게 소비되는 문제를 해결하기 위해 PyRUA-Lean이라는 상호작용형 코드 실행 프레임워크를 제안했다. AI · 머신러닝 · Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens
Key Point 로봇 제어 작업에서 LLM 토큰 소비를 대폭 줄이면서 오히려 성공률을 높이는 기법이 나왔으므로, 실시간 로봇 시스템이나 토큰 비용에 민감한 에이전트 설계에 참고할 가치가 있다.
핵심 요약
로봇 제어 작업에서 VLM 에이전트가 매번 모델을 호출할 때마다 토큰이 과다하게 소비되는 문제를 해결하기 위해 PyRUA-Lean이라는 상호작용형 코드 실행 프레임워크를 제안했다. 이 프레임워크는 피드백 기반 로봇 원시 동작(primitive)과 학습된 시각-언어-행동(VLA) 정책을 Python 셀로 조합해 조건부 검사와 로컬 재시도를 수행하며, 명시적으로 요청한 이미지와 상태 피드백만 반환한다. LIBERO-PRO, RoboTwin 2.0, RoboCasa365의 700개 시뮬레이션 작업에서 동일한 GPT-6 Astra 플래너와 로봇 원시 동작을 사용하는 기존 도구 호출 방식과 비교했다. 전체 요약 5문장 읽기 → 044 03:11 ▲ 33 · 댓글 2 근육 기반 모션을 다양한 지형에서 재구성·재타겟하는 TERRA 파이프라인 근육 기반 에이전트가 복잡한 인간 동작을 재현할 수 있게 발전했으나, 지형 정보가 부족해 평탄한 지면에만 국한되어 왔다. AI · 머신러닝 · TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion
Key Point 근육 단위로 동작하는 인간형 로봇이 평탄한 곳을 벗어나 실제 불규칙한 지형을 움직이도록 하는 것은 로봇 제어와 애니메이션 분야의 핵심 난제인데, 이 논문이 모션 캡처 데이터로부터 지형을 추론하고 재타겟하는 자동화된 파이프라인을 제시했다.
핵심 요약
근육 기반 에이전트가 복잡한 인간 동작을 재현할 수 있게 발전했으나, 지형 정보가 부족해 평탄한 지면에만 국한되어 왔다. TERRA는 운동학적 궤적만으로 지형 사전 정보, 접촉 추정, 여유 공간 증거를 결합해 작업 관련 지지 기하학을 복구한다. 재타겟 과정에서 해부학적·인대 연속성·접촉 제약 조건을 고려해 근육 동작에 맞게 조정한다. 전체 요약 6문장 읽기 → 045 15:11 ▲ 28 · 댓글 2 GPT-6 Astra가 로봇 제어 가능한가, 여섯 영역 테스트로 검증 GPT-6 Astra의 로봇 제어 능력을 평가하기 위해 조작, 이동조작, 항법, 주행, 인간형 로봇 작업 등 여섯 영역에서 실험을 수행했다. AI · 머신러닝 · Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies
Key Point GPT-6 같은 대형언어모델이 로봇 제어에 얼마나 실용적인지 구체적 성과와 한계를 보여주며, 물리적 제어 신뢰성 확보의 과제를 명확히 한다.
핵심 요약
GPT-6 Astra의 로봇 제어 능력을 평가하기 위해 조작, 이동조작, 항법, 주행, 인간형 로봇 작업 등 여섯 영역에서 실험을 수행했다. 그리퍼 조작에서 목표 수정 및 접촉 준비가 가능했으나, 학습된 정책과의 하이브리드 제어로만 48% 성공률을 달성했다. 정밀 손조작(DexJoCo)에서는 하이브리드 제어로 50% 성공률을 기록했지만, 직접 제어로는 손가락 접촉 조율에 실패했다. 전체 요약 10문장 읽기 → 046 21:11 ▲ 65 · 댓글 1 LLM이 진정한 비동기 에이전트로 거듭난다 현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. AI · 머신러닝 · LLMs are General Asynchronous Agents
Key Point LLM을 단순 음성 인식기나 로봇 제어기로만 쓰던 시대에서 벗어나, 진정으로 동시다중 작업을 처리하는 에이전트로 만드는 기술이 등장했다는 뜻이다. 이는 실시간 응답과 백그라운드 작업을 함께 해야 하는 음성 어시스턴트, 자율 로봇, 모니터링 시스템 등의 실용성을 크게 높일 수 있다.
핵심 요약
현재 LLM 기반 에이전트는 순차적 상호작용만 지원한다: 읽기 → 생각 → 응답 또는 도구 호출 → 반복. 실제 응용(음성 어시스턴트, 로봇 제어, 모니터링)은 비순차적이다. 에이전트가 생각하거나 작업을 수행하는 도중 새로운 입력이 들어온다. 현재는 음성·영상 처리, 로봇 제어(VLA), 비동기 도구 호출 등 용도별로 서로 다른 아키텍처를 구축해야 한다. 전체 요약 5문장 읽기 → 047 22:26 ▲ 11 · 댓글 2 과거 정보 기억하는 로봇 제어 모델 'MemBodied' 제안 비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. AI · 머신러닝 · MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Key Point 과거 관찰 정보가 필요한 로봇 제어 작업에서 컨텍스트 확장의 비효율성을 해결하면서 매개변수 효율성까지 확보한 새로운 메모리 메커니즘이다.
핵심 요약
비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다. 과거 관찰을 컨텍스트에 포함하면 해결되지만 컨텍스트 크기 증가와 추론 지연이라는 문제가 발생한다. MemBodied는 고정 크기의 기억 구조로, 상호작용을 기록하는 연관 상태(associative state)와 초기 장면을 보존하는 에피소드 앵커(episode anchor) 두 개 요소로 구성된다. 전체 요약 8문장 읽기 → 048 22:29 ▲ 12 · 댓글 2 사전학습 로봇 정책을 강화학습으로 미세조정하는 PARTS 프레임워크 사전학습된 로봇 기초 정책은 장시간 작업의 대부분을 수행하지만 몇 가지 중요한 부분작업에서 반복 실패한다. AI · 머신러닝 · From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention
Key Point 로봇 매니퓰레이션 작업에서 사전학습 모델의 실패 부분만 효율적으로 개선하는 새로운 강화학습 접근법으로, 적은 인간 개입과 실제 데이터로 작업 성공률을 대폭 높일 수 있는 방법을 제시한다.
핵심 요약
사전학습된 로봇 기초 정책은 장시간 작업의 대부분을 수행하지만 몇 가지 중요한 부분작업에서 반복 실패한다. 추가 전체 작업 시연을 수집한 지도학습 미세조정은 정책이 이미 잘하는 행동 반복을 요구한다. 강화학습 미세조정은 희소 보상으로 장시간 작업을 푸는 기존 방식의 한계를 극복하기 위해 제시된다. 전체 요약 9문장 읽기 → 049 16:18 ▲ 116 · 댓글 3 비전-언어모델의 지능을 로봇 제어로 옮기다 VLM을 로봇 제어에 활용하는 RoboDawn 인터페이스를 제시했다. 로봇이 자신의 시각 상태를 관찰하고 다음 행동을 추론하며 이를 실행하고 결과에 따라 의사결정을 적응시키는 폐루프 방식으로 동작한다. 하드웨어 · 시스템 · Transferring the Intelligence of VLMs to Robotic Control
Key Point 로봇 제어에 사전학습된 대규모 언어-시각 모델을 직접 활용하는 방식이 과제별 학습 없이도 작동하며, 현실 로봇까지 확대되는 경로를 제시해 로봇공학의 실용화 가능성을 높인다.
핵심 요약
VLM을 로봇 제어에 활용하는 RoboDawn 인터페이스를 제시했다. 로봇이 자신의 시각 상태를 관찰하고 다음 행동을 추론하며 이를 실행하고 결과에 따라 의사결정을 적응시키는 폐루프 방식으로 동작한다. 소수의 데모로 VLM을 인터페이스 사용법과 작업 전략에 적응시키는 인-컨텍스트 러닝 기법을 도입했다. 작업별 로봇 학습 없이도 강한 성능을 달성하며, 제로샷 설정에서 기존 정책보다 우수하다. 전체 요약 5문장 읽기 →