쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
100건 (최대치) · "로봇"조건 지우기 ×
001 21:11 ▲ 108 · 댓글 11 2020년대에도 NES용 신작 게임이 쏟아진다 NES(닌텐도 엔터테인먼트 시스템)는 현재 '제2의 르네상스'를 겪고 있으며, 수십 년간 축적된 지식과 연구 덕분에 많은 신작 게임이 계속 출시되고 있다. 하드웨어 · 시스템 · My favourite modern NES games
Key Point 현대에 여전히 활발히 제작되는 NES 신작 게임들의 다양한 장르와 창의적인 설계가 어떻게 30년 전 하드웨어의 한계를 극복하고 있는지 보여준다.
핵심 요약
NES(닌텐도 엔터테인먼트 시스템)는 현재 '제2의 르네상스'를 겪고 있으며, 수십 년간 축적된 지식과 연구 덕분에 많은 신작 게임이 계속 출시되고 있다. 저자가 선정한 25개 현대 NES 게임들은 대부분 디지털로 저렴하게 구매 가능하며, 많은 게임이 물리 카트리지로도 출시되어 원본 하드웨어에서 플레이할 수 있다. 'All Hell Unleashed'는 1980~90년대 공포 영화 캐릭터(제이슨, 프레디, 고스트페이스 등)와 싸우는 공포 플랫포머다. 전체 요약 16문장 읽기 → 002 15:11 ▲ 21 · 댓글 4 로봇 에이전트, 채점 기준 노출에 과적합되나 자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. AI · 머신러닝 · Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
Key Point 로봇 에이전트가 실제 과제를 해결하는지 검증 수치를 조작하는지 구분하는 것이 점점 중요해지는 상황에서, CE 관행의 문제점과 해결책을 실증적으로 밝히는 연구입니다.
핵심 요약
자체 개선 로봇 에이전트 개발 시 벤치마크 채점 기준을 에이전트에 노출하는 'Criteria Exposure(CE)' 관행이 늘고 있다. 이 기준들은 모방 학습 정책 검증용으로 작성되어 원래 언어 지시사항보다 더 많은 요구사항을 담고 있어, 에이전트가 생성한 로봇 제어 코드의 실제 성능을 정확히 반영하지 못한다. 연구진이 CE 적용 여부를 비교 실험한 결과, CE 적용 시 에이전트는 초기에 주어진 기준 하에서 높은 성공률을 보이지만, 기준을 약간 변경하면 이 우위가 사라진다. 전체 요약 5문장 읽기 → 003 06:11 ▲ 154 · 댓글 30 600번의 실험으로 발견한 JEPA 월드 모델의 최적 설계 JEPA(joint-embedding predictive architecture)는 픽셀 생성 대신 임베딩 공간에서 예측하는 월드 모델로, 인코더·예측기·플래너 세 부분으로 구성된다. AI · 머신러닝 · After 600 experiments, here's what I discovered about JEPA world models
Key Point JEPA 월드 모델의 병목이 예측이 아니라 계획 방식임을 실험으로 증명했고, 재학습 없이 네 가지 방법으로 성공률을 3배 이상 향상시킨 구체적 기법들을 제시한다.
핵심 요약
JEPA(joint-embedding predictive architecture)는 픽셀 생성 대신 임베딩 공간에서 예측하는 월드 모델로, 인코더·예측기·플래너 세 부분으로 구성된다. LeWM 모델을 600회 실험한 결과, 예측 정확도 개선보다 계획 방식 변경이 더 큰 효과를 발휘했다. LeWM의 예측기를 완벽한 물리 시뮬레이터로 바꿔도 성공률이 78%에서 77%로 거의 변하지 않아, 병목은 모델의 예측이 아닌 사용 방식임을 확인했다. 전체 요약 12문장 읽기 → 004 06:11 ▲ 105 · 댓글 41 OpenAI 로봇팀 해체, 범용 AI로의 전환 선언 OpenAI가 독립적인 로봇팀을 해체하고 연구원들을 다른 팀으로 재배치했다. 로봇 연구팀은 최고연구책임자 Mark Chen 산하 메인 연구팀으로, 응용로봇팀과 하드웨어팀은 President Greg Brockman 산하 Applied 조직으로 이동했다. AI · 머신러닝 · OpenAI disbands its robotics team as its general models start running robots
Key Point 범용 AI 모델이 로봇 제어 영역까지 침투하면서 로봇공학의 기술 스택과 경쟁 구도 자체가 재편될 수 있기 때문이다.
핵심 요약
OpenAI가 독립적인 로봇팀을 해체하고 연구원들을 다른 팀으로 재배치했다. 로봇 연구팀은 최고연구책임자 Mark Chen 산하 메인 연구팀으로, 응용로봇팀과 하드웨어팀은 President Greg Brockman 산하 Applied 조직으로 이동했다. OpenAI는 이를 로봇공학에 대한 헌신의 증거로 표현했으며, 로봇공학이 회사의 장기 비전의 핵심이라고 밝혔다. 2024년 창업사 Figure와 협력해 휴머노이드 로봇 AI 개발을 추진했으나 2025년 2월 Figure가 자체 개발로 전환하면서 협력이 종료됐다. AI 산업 전반에서 언어, 코드, 비전 분야의 범용 모델을 로봇 같은 물리적 장치를 제어하는 '구체화된 AI(embodied AI)'에 직접 적용할 수 있다는 가정이 확산 중이다. 이는 로봇 전용 특화 모델을 따로 개발할 필요가 없다는 의미다. 전체 요약 7문장 읽기 → 005 18:11 ▲ 30 · 댓글 4 로봇 학습 위한 대규모 환경·행동 데이터셋 'Ropedia Xperience 2' 공개 GPT-6 Astra, Claude Fable 5.1 같은 대규모 기초 모델이 시각 정보로 로봇을 직접 제어할 수 있게 됐지만, 현실의 장시간·접촉이 많은 작업에서는 여전히 취약하다. AI · 머신러닝 · Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors
Key Point 대규모 언어 모델의 스케일링 법칙처럼, 로봇 AI가 어떤 데이터 규모에서 성능이 향상되는지를 연구하기 위한 첫 번째 표준 데이터셋이 제시됐다.
핵심 요약
GPT-6 Astra, Claude Fable 5.1 같은 대규모 기초 모델이 시각 정보로 로봇을 직접 제어할 수 있게 됐지만, 현실의 장시간·접촉이 많은 작업에서는 여전히 취약하다. 로봇 AI의 능력이 환경과 행동 데이터 규모에 어떻게 비례하는지 규명하려면, 어떤 데이터를 모을지, 어떻게 지속적으로 생산·재활용할지 먼저 정해야 한다. Ropedia Xperience 2는 1,589개의 미터급 3D 스캔과 74개 작업의 1인칭 영상 4,230개(총 131시간)를 담은 데이터셋이다. 전체 요약 5문장 읽기 → 006 06:11 ▲ 28 · 댓글 3 코딩 에이전트의 로봇 제어 능력을 평가하는 벤치마크 공개 로봇 제어에 코딩 에이전트를 활용하는 새로운 패러다임이 등장하면서, 다양한 로봇을 물리 제약 속에서 제어할 수 있는지 평가할 필요가 생겼다. AI · 머신러닝 · Embodied First Exam
Key Point 로봇 제어에 코딩 에이전트를 활용하려는 움직임이 커지는 가운데, 현실 세계 제약 하에서 얼마나 신뢰할 수 있는지 평가할 수 있는 거대한 벤치마크가 공개됐기 때문이다.
핵심 요약
로봇 제어에 코딩 에이전트를 활용하는 새로운 패러다임이 등장하면서, 다양한 로봇을 물리 제약 속에서 제어할 수 있는지 평가할 필요가 생겼다. 연구팀은 '임보디드 퍼스트 엑삼(Embodied First Exam)'이라는 평가 프레임워크를 개발해 공개했다. 47개 로봇에 걸쳐 35개 스위트의 1,156개 태스크로 구성되며, 직접 제어·코드 제어·정책 학습 중 에이전트가 자유롭게 선택할 수 있다. 전체 요약 7문장 읽기 → 007 18:11 ▲ 23 · 댓글 5 비디오·행동을 함께 학습하는 세계 모델 SWAM 공개 언어-비디오 정렬을 학습한 기반 위에 행동 학습을 추가할 때 기존 정렬이 훼손될 수 있다는 문제를 중점 연구했다. AI · 머신러닝 · SWAM: Scaling World Action Models with Cross-Modal Alignment
Key Point 로봇 제어를 위한 세계 모델의 언어-비디오 정렬 유지 전략이 명확해져, 동작 학습 시 기존 이해 능력을 보존하면서 행동 능력까지 확장하려는 연구자들에게 실질적인 지침을 제공한다.
핵심 요약
언어-비디오 정렬을 학습한 기반 위에 행동 학습을 추가할 때 기존 정렬이 훼손될 수 있다는 문제를 중점 연구했다. 약 47,000시간의 일반 비디오, 1인칭 시점 비디오, UMI 데모, 로봇 데모를 수집하여 데이터 풀을 구성했다. 언어-비디오 감시, 언어-비디오-행동 감시, 두 형태를 결합한 학습이 세계 행동 모델(WAM) 성능에 어떻게 영향 미치는지 체계적으로 분석했다. 전체 요약 9문장 읽기 → 008 15:11 ▲ 26 · 댓글 2 로봇 손가락 조작, 앞선 시각 감각으로 성공률 11% 높였다 정교한 손가락 조작을 위해 로봇이 장면과 손의 공간 변화를 미리 예측해야 하는데, 기존 방식은 명시적 미래 예측에 의존했다. AI · 머신러닝 · DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight
Key Point 로봇이 손가락 관절의 복잡한 움직임을 미리 예측하는 방식이 기존 대비 단순화되면서, 실제 환경에서 정교한 조작 작업의 성공률이 크게 올랐다.
핵심 요약
정교한 손가락 조작을 위해 로봇이 장면과 손의 공간 변화를 미리 예측해야 하는데, 기존 방식은 명시적 미래 예측에 의존했다. DexForesight는 세계 모델을 정책의 잠재 공간에 주입해 공간 예측을 암묵적으로 학습하는 프레임워크다. 오프라인 장면 깊이 정보, 손 기하학, 시연 궤적으로부터 행동 조건부 세계 모델을 학습한다. 전체 요약 8문장 읽기 → 009 12:11 ▲ 56 · 댓글 3 로봇이 시뮬레이션으로 배우는 조작 기술, 한 번의 시연만으로 기존 정책 학습은 네트워크 가중치에 기술을 저장해 학습한 환경에 종속되지만, 인컨텍스트 학습(ICL)은 이 문제를 피합니다. AI · 머신러닝 · World In-Context Learning for Agentic Robot Manipulation
Key Point 한 번의 시연으로 로봇이 50개 이상의 조작 작업을 배울 수 있으며, 기존 학습 방식을 20포인트 이상 앞지르는 새로운 로봇 학습 패러다임입니다.
핵심 요약
기존 정책 학습은 네트워크 가중치에 기술을 저장해 학습한 환경에 종속되지만, 인컨텍스트 학습(ICL)은 이 문제를 피합니다. 다만 기존 ICL은 다른 장면의 시연이 현재 로봇의 환경 피드백을 제공하지 못해 성능이 낮았습니다. 연구팀은 에이전트가 배우는 내용이 시각 외형이 아닌 작업 단계와 객체 역할 같은 의미론적 정보라는 점을 발견했습니다. 전체 요약 9문장 읽기 → 010 18:12 ▲ 102 · 댓글 2 손가락 감각 센서 통합하는 택타일 기초 모델 공개 복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. AI · 머신러닝 · Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
Key Point 여러 종류의 촉각 센서를 하나의 모델로 통합하면 로봇의 손가락 조작 능력이 비약적으로 향상되는데, 이는 산업용 로봇과 지능형 로봇 개발에 필수적인 기술이다.
핵심 요약
복합 조작 작업에 필수적인 접촉각 감각(tactile sensing)을 여러 센서 유형 간에 통합 표현하는 'LingBot-Touch' 모델을 개발했다. 압저항식(piezoresistive), 자기식(magnetic), 시각-촉각식(visuotactile) 센서 등 서로 다른 센서 데이터를 하나의 통일된 표현으로 변환하고 새로운 센서 유형으로 확장 가능하다. 생성된 택타일 토큰은 확산 정책(diffusion policy)부터 π₀.₅, LingBot-VLA 같은 비전-언어-행동(VLA) 모델까지 다양한 정책 모델에 플러그 앤 플레이 방식으로 통합되어 조작 능력을 향상시킨다. 전체 요약 6문장 읽기 → 011 15:10 ▲ 52 · 댓글 3 로봇 자율성 향상, 다중에이전트 프레임워크로 실적 2배 이상 돌파 파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. AI · 머신러닝 · Toward the Era of Agentic Embodied Intelligence
Key Point 로봇의 자율적 행동 성능을 2배 이상 끌어올린 프레임워크가 공개될 예정이며, 실제 가정용 로봇 작업에서의 높은 성공률과 빠른 학습 속도는 구체화 AI 실용화에 새로운 기준을 제시한다.
핵심 요약
파운데이션 모델로 로봇 제어를 하되 자율성을 오래 유지하려면 효율적인 컨트롤과 실패 복구가 필요하다. 연구팀이 A2-MEAS라는 구체화 다중에이전트 프레임워크를 제안했으며, 이는 코드를 확장 인터페이스로 삼는다. 수정 코드는 수정 언어, 공간 증거, 실행 이력, 행동 제안을 결합하며, MetaBrain이 학습 감독과 런타임 지도를 제공한다. 전체 요약 12문장 읽기 → 012 12:11 ▲ 225 · 댓글 613 클로드 페이블·미토스 5.2, 전문가 작업용 초강력 모델 출시 앤스로픽이 클로드 페이블 5.2와 미토스 5.2를 공개했으며, 두 모델은 동일한 기반이지만 페이블에는 사이버보안·생물학 보안 장치가 있어 모든 사용자에게 공개되고, 미토스는 검증 프로그램 신청 시 접근 가능하다. AI · 머신러닝 · Claude Fable 5.2 and Mythos 5.2
Key Point 기업 소프트웨어 마이그레이션부터 블랙홀 이론물리 증명, 신약 전달용 단백질 설계까지 광범위한 분야에서 실제 문제를 해결하는 모델이 나왔으며, 이전 모델 대비 저렴한 가격으로 성능을 크게 향상시켰다.
핵심 요약
앤스로픽이 클로드 페이블 5.2와 미토스 5.2를 공개했으며, 두 모델은 동일한 기반이지만 페이블에는 사이버보안·생물학 보안 장치가 있어 모든 사용자에게 공개되고, 미토스는 검증 프로그램 신청 시 접근 가능하다. 페이블 5.2와 미토스 5.2는 코딩, 추론, 비전에서 이전 버전 대비 개선되었으며, 입력 토큰당 $8, 출력 토큰당 $40으로 페이블 5.1보다 저렴하고 토큰 생성 속도는 최대 30% 빨라졌다. 선택적 고속 모드는 토큰 생성을 최대 2.5배 빠르게 하며 입력 토큰당 $16, 출력 토큰당 $80이다. 전체 요약 12문장 읽기 → 013 09:11 ▲ 136 · 댓글 22 DeepX 2세대 AI칩, 100B 모델 5W 이하 추론 달성 한국 스타트업 DeepX가 삼성의 커스텀 LPDDR5x-PIM 기술을 탑재한 2세대 AI 가속칩 DX-M2를 테이프아웃했으며, 100억 파라미터 모델 추론을 5W 이하에서 구동할 수 있다. AI · 머신러닝 · DeepX claims inference up to 100B parameters at less than 5 W
Key Point 엣지 AI 칩 시장에서 5W 초저전력으로 대규모 언어모델을 구동할 수 있는 실질적 솔루션이 나타났고, Samsung PIM 기술과의 결합으로 차세대 AI 가속 방식을 제시하고 있기 때문이다.
핵심 요약
한국 스타트업 DeepX가 삼성의 커스텀 LPDDR5x-PIM 기술을 탑재한 2세대 AI 가속칩 DX-M2를 테이프아웃했으며, 100억 파라미터 모델 추론을 5W 이하에서 구동할 수 있다. DX-M2는 메모리 대역폭을 1세대 50GB/s에서 150GB/s로 3배 증가시켰고, NPU 전력 효율을 2배 높이고 2nm 공정으로 옮기면서 80 TOPS 성능을 달성했다. 20억~100억 파라미터 모델을 초당 10~30 토큰으로 처리하며, 드론·로봇·배터리 기기 등 엣지 디바이스에 생성형 AI를 가져오는 것을 목표로 한다. 전체 요약 12문장 읽기 → 014 06:11 ▲ 662 · 댓글 352 Claude Fable 5.2와 Mythos 5.2 공개, 코딩·과학 성능 대폭 향상 Anthropic이 Claude Fable 5.2와 Claude Mythos 5.2를 공개했으며, 두 모델은 같은 기반 모델이지만 Mythos는 사이버보안·생물학 분야 검증 프로그램을 통해 제한적으로 제공된다. AI · 머신러닝 · Claude Fable 5.2 and Mythos 5.2
Key Point Fable 5.2와 Mythos 5.2는 상용 모델 중 가장 복잡한 엔지니어링·연구 작업을 수행할 수 있도록 설계되었으며, 코딩·수학 증명·물리학 문제 해결에서 구체적인 성과를 입증해 AI 실무 활용의 경계를 넓혔다.
핵심 요약
Anthropic이 Claude Fable 5.2와 Claude Mythos 5.2를 공개했으며, 두 모델은 같은 기반 모델이지만 Mythos는 사이버보안·생물학 분야 검증 프로그램을 통해 제한적으로 제공된다. 테스트 결과 Fable 5.2와 Mythos 5.2는 이전 버전 대비 커뮤니케이션이 명확하고, 토큰 생성 속도는 30% 빠르며, 입력 토큰 800만 개당 $8, 출력 토큰 100만 개당 $40으로 가격이 인하됐다. 선택적 fast mode는 토큰 생성을 최대 2.5배 가속하며 입력 토큰당 $16, 출력 토큰당 $80이다. 전체 요약 16문장 읽기 → 015 21:11 당일 +412 구글 딥마인드, 다중관절 물리 시뮬레이터 MuJoCo 오픈소스화 MuJoCo(Multi-Joint dynamics with Contact)는 로봇공학, 생역학, 그래픽스, 머신러닝 등 다양한 분야의 연구개발을 지원하는 범용 물리 엔진으로, Google DeepMind가 유지보수한다. 오픈소스 · 도구 · google-deepmind/mujoco · C++
Key Point Google DeepMind의 물리 시뮬레이션 엔진이 오픈소스로 공개되어, 로봇공학 및 AI 연구에 기여할 수 있는 강력한 도구가 누구나 접근 가능해졌다.
핵심 요약
MuJoCo(Multi-Joint dynamics with Contact)는 로봇공학, 생역학, 그래픽스, 머신러닝 등 다양한 분야의 연구개발을 지원하는 범용 물리 엔진으로, Google DeepMind가 유지보수한다. C API를 제공하며 저수준 데이터 구조에 최적화된 런타임 시뮬레이션 모듈로 높은 성능을 목표로 하고, 데스크톱 및 웹 브라우저에서 대화식 시각화를 지원한다. Python 바인딩, Unity 플러그인, JavaScript/WebAssembly 바인딩 등 다양한 언어 및 플랫폼 지원을 제공하며, 물리량 계산을 위한 다수의 유틸리티 함수를 포함한다. 전체 요약 10문장 읽기 → 016 06:11 ▲ 10 · 댓글 3 영상 생성 없이 로봇 제어하는 'DreamFree' 기법 제안 세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. AI · 머신러닝 · Future Representation Distillation for Imagination-free World Action Models
Key Point 시각 예측 과정을 제거하면서도 더 나은 제어 성능을 달성하는 방식이 로봇 제어의 효율성과 확장성을 크게 높일 수 있다.
핵심 요약
세계 액션 모델(WAM)은 미래 영상 예측으로 로봇을 제어하지만, 반복적인 영상 디노이징이 비싸고 부정확한 시각 예측이 행동 예측을 해칠 수 있다. DreamFree는 사전학습된 영상 확산 모델을 표현 증류를 통해 예측용 시각 인코더로 재목적화하여 미래 영상 생성 없이 행동을 예측한다. 시각 인코더는 현재 관찰만으로 동결된 영상 확산 모델의 표현을 예측하도록 학습하고, 행동 모듈이 인코더에서 추출한 행동 관련 정보로 행동을 예측한다. 전체 요약 5문장 읽기 → 017 18:15 스타 1,163 LLM이 만드는 3D 모델, sand3d로 코드처럼 쓴다 sand3d는 Python 라이브러리로, 3D 객체를 짧은 프로그램으로 작성할 수 있도록 설계되었으며 Blender의 bpy를 기반으로 한다. AI · 머신러닝 · Sandflow-ai/sand3d · HTML
Key Point 3D 모델 생성을 LLM이 직접 다루려면 토큰 효율이 결정적인데, sand3d는 기존 도구 대비 2~6배 짧은 코드로 표현해 프롬프트 예산 내에서 복잡한 객체를 만들 수 있게 한다.
핵심 요약
sand3d는 Python 라이브러리로, 3D 객체를 짧은 프로그램으로 작성할 수 있도록 설계되었으며 Blender의 bpy를 기반으로 한다. 한 부품당 Blender Python, CadQuery, FeatureScript 대비 2~6배 적은 토큰으로 표현되므로 LLM 프롬프트에 맞춘다. 전체 API가 약 3,600 토큰으로 압축되어 시스템 프롬프트에 통째로 들어갈 수 있다. 전체 요약 10문장 읽기 → 018 06:11 ▲ 10 · 댓글 2 불완전한 3D 포인트 클라우드에서 완전한 장면 메시 복원 이미지 기반 3D 재구성 방식은 주로 보이는 표면만 복원해 큰 구멍이 있는 불완전한 포인트 클라우드를 생성한다. AI · 머신러닝 · AnchorComplete: Recovering Complete Scene Meshes from Partial Point Clouds
Key Point 3D 재구성의 오래된 문제인 보이지 않는 영역의 기하학 복원 문제를 신경망 기반으로 해결하는 새로운 방법이 나왔으며, 소수 뷰 환경에서의 성능 개선이 3D 스캔·VR·로봇 비전 등 다양한 응용에 영향을 줄 수 있다.
핵심 요약
이미지 기반 3D 재구성 방식은 주로 보이는 표면만 복원해 큰 구멍이 있는 불완전한 포인트 클라우드를 생성한다. 이를 해결하기 위해 AnchorComplete라는 프레임워크를 제안하는데, 불완전한 포인트 클라우드에서 완전한 장면 메시를 복원하면서 관찰된 기하학을 보존한다. TRELLIS.2를 기반으로 구축되었으며, 부분 포인트 조건화(global scene tokens와 local spatial evidence를 결합해 입력에 생성을 고정)와 메트릭 스케일 coarse-to-fine 생성(고정 크기 윈도우 내에서 기하학을 점진적으로 개선하면서 전역 구조 일관성 유지)을 결합한다. 전체 요약 4문장 읽기 → 019 03:11 ▲ 116 · 댓글 2 AI가 인간의 지능을 확장하는 '인지 공생체' 패러다임 AI 발전이 '기계 자체의 지능'에서 '사람의 지능 향상'으로 초점을 옮겨야 한다고 주장한다. AI · 머신러닝 · From Autonomous Agents to Cognitive Symbionts: Toward AI-Augmented Human Intelligence
Key Point 지난 10년 AI 개발의 목표를 근본적으로 재설정하는 논문으로, 로봇 중심의 'Physical AI'를 넘어 개인 맞춤형 지능 확장으로 나아가야 한다는 패러다임 전환을 제시한다.
핵심 요약
AI 발전이 '기계 자체의 지능'에서 '사람의 지능 향상'으로 초점을 옮겨야 한다고 주장한다. 사람은 알고 있었던 지식을 잊고, 보지 못한 것을 놓치고, 말을 찾지 못하고, 과거 경험 없이 결정을 내린다는 점이 현재 AI의 한계다. 이를 해결하기 위해 '인지 공생체(cognitive symbiont)'라는 새로운 시스템을 제안한다. 전체 요약 8문장 읽기 → 020 18:11 ▲ 112 · 댓글 76 로봇 팩토리는 손으로 만들어진다 저자가 유니트리의 항저우 팩토리를 방문했을 때, 모터를 만드는 구간은 대부분 구리선을 감싸는 작업을 하는 인력으로 채워져 있었고 자동화 라인은 소수에 불과했다. 하드웨어 · 시스템 · I toured Unitree's factory. I'm more bullish on the West
Key Point 중국의 낮은 인건비가 로봇 제조를 손작업으로 유지하는 동안, 서방은 높은 임금으로 인해 자동화 기계에 투자할 동기가 크며, AI가 프로그래밍 비용을 급격히 줄이면서 제조 자동화의 핵심 장벽이 낮아지고 있다.
핵심 요약
저자가 유니트리의 항저우 팩토리를 방문했을 때, 모터를 만드는 구간은 대부분 구리선을 감싸는 작업을 하는 인력으로 채워져 있었고 자동화 라인은 소수에 불과했다. 유니트리는 2025년 약 32,000대의 로봇을 만들었지만 자동화 설비는 장부 가치 170만 달러 수준으로, 로봇 한 대당 약 50달러에 불과했다. 로봇 제조 원가에서 인건비는 8%에 불과하고 대부분이 부품비인 만큼, 인력 비용을 절반으로 줄어들어도 전체 원가는 2% 미만 감소한다. 전체 요약 13문장 읽기 → 021 00:11 ▲ 32 · 댓글 3 인간 영상 50,000시간으로 로봇 기초모델 학습시키는 오픈 방법론 1인칭 시점 인간 영상 5만 시간으로 로봇 학습을 위한 데이터를 확보하는 Open-HumanScale 방법론을 공개했다. AI · 머신러닝 · Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
Key Point 인간 행동 영상 대규모 데이터로 로봇 조작 능력을 효과적으로 학습할 수 있는 실증적 방법론과 스케일링 법칙을 제시했으며, 재현 가능한 연구를 위해 전체 파이프라인을 오픈소스화했다.
핵심 요약
1인칭 시점 인간 영상 5만 시간으로 로봇 학습을 위한 데이터를 확보하는 Open-HumanScale 방법론을 공개했다. 손동작과 자연언어 주석이 달린 Open-HumanScale-50K 데이터셋을 구축하고, 시뮬레이션 평가로 인간 사전학습만으로도 데이터 시간과 로봇 성공률 간 로그 선형 스케일링 법칙을 발견했다. 인간 영상 5만 시간으로만 학습한 HumanWAM-Vanilla 모델은 RoboTwin 2.0 Clean2Clean에서 92.08% 성공률, Clean2Random에서 68.88%, RoboDojo에서 평균 14.17% 성공률을 기록했다. 전체 요약 6문장 읽기 → 022 18:11 ▲ 92 · 댓글 3 로봇 조작을 위한 공간-언어-행동 통합 모델 SLA 공개 로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다. AI · 머신러닝 · SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
Key Point 로봇이 현실의 다양한 상황에서 물체를 다루도록 하려면 시각과 행동뿐 아니라 공간 감각까지 기초 모델 단계에서 학습해야 하는데, SLA는 이를 실제 로봇 데이터 규모의 연속 학습으로 처음 해결한 접근이다.
핵심 요약
로봇 조작에는 의미 이해와 3차원 공간의 정밀한 제어가 필요하지만, 기존 시각-언어-행동(VLA) 모델들은 2D 사전학습에서 나온 시각 표현을 쓰고 공간 감각은 과제별 적응 단계에서만 학습한다. 공간 이해를 전이 가능한 기초 모델 능력으로 발전시키기 위해 연구팀은 SLA(Spatial-Language-Action Model)를 개발했으며, 지속적 사전학습 중 암묵적 공간 정렬을 확장하고 후속 작업 단계에서도 유지한다. SLA는 사전학습된 pi05 정책에서 시작하여 행동 예측과 중간 시각 임베딩 및 고정된 3D 인지 모델의 공간 표현 간 정렬을 공동으로 최적화한다. 전체 요약 8문장 읽기 → 023 15:10 ▲ 106 · 댓글 1 로봇 계획 25배 빠르게, 비전 모델의 구조 활용한 VFlash 로봇, 자율주행 같은 물리 AI 작업에서 비전-랭귀지 모델은 좌표·궤적 같은 시각적 계획을 통해 공간상 목표를 표현하고 움직임을 예측한다. AI · 머신러닝 · VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding
Key Point 로봇의 시각 계획 생성 속도를 획기적으로 높이면서도 정확도까지 향상시키는 기법으로, 물리 AI 시스템의 실시간 제어 가능성을 크게 높인다.
핵심 요약
로봇, 자율주행 같은 물리 AI 작업에서 비전-랭귀지 모델은 좌표·궤적 같은 시각적 계획을 통해 공간상 목표를 표현하고 움직임을 예측한다. 기존 자동회귀 모델은 이런 시각 원시요소를 토큰 하나씩 생성하기 때문에 예측이 복잡할수록 비용이 급증한다. VFlash는 Flash Primitive Decoding 기법으로 시각 원시요소의 구조를 활용, 경량 드래프터가 전체 원시요소를 한 번의 순전파로 예측한다. 전체 요약 8문장 읽기 → 024 12:54 ▲ 12 · 댓글 3 로봇이 실제 작업으로 스스로 배우는 PyRUA-REAL 프레임워크 GPT-6-Astra 같은 코딩 에이전트를 활용해 로봇이 물리적 상호작용을 통해 능력을 지속적으로 개선하는 구조를 연구했다. AI · 머신러닝 · PyRUA-REAL: Robot Exploration and Adaptive Learning through RSI in the Real World
Key Point 로봇이 코드 기반 에이전트로 물리적 경험을 학습하고 누적하며 자동으로 개선되는 프레임워크의 실제 동작 결과를 처음으로 보여준다.
핵심 요약
GPT-6-Astra 같은 코딩 에이전트를 활용해 로봇이 물리적 상호작용을 통해 능력을 지속적으로 개선하는 구조를 연구했다. PyRUA-REAL 프레임워크는 코딩 에이전트가 로봇과의 상호작용 경험을 지속적 기억과 재사용 가능한 실행 가능한 스킬로 축적하고, 이를 바탕으로 탐색과 개선를 반복한다. 물리적 조작을 중심으로 에이전트의 협업 방식, 코드 개선을 지원하는 실행 피드백의 종류, 작업 명세와 기존 스킬이 견고성과 작업 전이에 미치는 영향을 검토했다. 전체 요약 6문장 읽기 → 025 12:54 ▲ 10 · 댓글 2 로봇 시뮬레이터 PrimeSim 공개, 30110시간 데이터로 학습 로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. AI · 머신러닝 · PrimeSim: A Generalist World Model Simulator from Large-Scale Cross-Embodiment Demonstrations
Key Point 대규모 크로스-플랫폼 로봇 데이터로 학습한 첫 일반화된 월드 모델이 공개되어, 로봇 제어와 시뮬레이션 연구 진행 속도가 크게 높아질 것으로 예상된다.
핵심 요약
로봇용 월드 모델 시뮬레이터 PrimeSim을 공개했으며, 동작 명령을 충실히 따르고 다중 카메라 뷰 일관성을 유지하며 장시간 시뮬레이션을 안정적으로 지원해야 한다는 과제를 해결했다. 22개 로봇 플랫폼의 30,110시간 데이터로 미드트레이닝했고, 통합 크로스-임보디먼트 액션 표현과 프레임 정렬 듀얼-패스 컨디셔닝을 도입해 동작 추적 정확도를 개선했다. 뷰-어웨어 인터리브드 어텐션 메커니즘을 개발해 명시적 카메라 ID를 사용하며 카메라 간 정보 교환을 유지하면서도 뷰별 표현을 보존한다. 전체 요약 7문장 읽기 → 026 18:13 ▲ 14 · 댓글 2 인간 시연으로 로봇 정책 적응 가능하게한 H2RB 프레임워크 사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. AI · 머신러닝 · Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs
Key Point 로봇 정책 미세조정 시 비용이 많이 드는 로봇 데이터 대신 수집이 쉬운 인간 시연을 활용할 수 있는 실질적 방법을 제시하기 때문이다.
핵심 요약
사전학습된 Vision-Language-Action(VLA) 정책은 로봇 배포의 좋은 출발점이지만, 대상 로봇과 환경에 맞추려면 로봇 고유의 비용 많이 드는 시연이 필요하다. 인간 시연은 수집이 훨씬 쉽지만, VLA가 주로 로봇 데이터로 사전학습된 경우 인간-로봇 embodiment 차이가 크면 직접 활용하기 어렵다. H2RB(Human-To-Robot Bridge)는 쌍을 이루지 않은 인간과 로봇 시연으로부터 사전학습된 VLA 정책을 적응시키는 인간-로봇 공동 학습 프레임워크다. 전체 요약 8문장 읽기 → 027 15:11 ▲ 60 · 댓글 2 로봇 조작, 인코더 없는 시각-언어 모델로 더 정확하게 기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. AI · 머신러닝 · From Pixels to Actions - Towards Native Vision-Language-Action Policies
Key Point 로봇 팔 같은 구체화된 제어 시스템이 최종 표현이 아닌 중간 단계의 시각 신호에서 더 정확한 정보를 얻을 수 있다는 발견은 로봇 공학과 구체화 AI의 아키텍처 설계 원칙을 바꿀 가능성이 있다.
핵심 요약
기존 비전-언어-액션 모델은 시각 인코더로 이미지를 먼저 압축한 후 행동 추론을 시작하지만, 조작 작업에 필요한 국소적 기하학·경계·깊이·미묘한 상태 변화 같은 시각 신호들이 손실될 수 있다. NEO-VLA는 인코더 없는 구조의 비전-언어-액션 프레임워크로, 이미지를 경량 패치 합성곱 층으로 토큰화한 뒤 백본 전체에서 언어와 함께 진화하도록 설계했다. 흐름-매칭 액션 전문가가 백본의 다양한 깊이에서 명령 조건부 시각 표현에 접근할 수 있어, 최종 시각 표현뿐 아니라 계산 계층 전체의 정보를 활용한다. 전체 요약 6문장 읽기 → 028 15:11 ▲ 26 · 댓글 3 AI 에이전트가 로봇 조종사 대신, 저비용 데이터셋 자동 생성 로봇 학습에 필요한 시연 데이터를 수집하려면 보통 조종사가 일일이 조작했는데, 이 과정은 시간과 비용이 많이 들었다. AI · 머신러닝 · PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
Key Point 로봇 학습 데이터 수집 비용을 최소 60% 절감하면서도 성능과 환경 변화에 대한 강건성을 동시에 확보하는 방식을 제시해, 로봇 개발의 경제성 문제를 바꿀 가능성이 있다.
핵심 요약
로봇 학습에 필요한 시연 데이터를 수집하려면 보통 조종사가 일일이 조작했는데, 이 과정은 시간과 비용이 많이 들었다. 연구팀은 코딩 에이전트가 조종사의 역할을 대신하는 'DataFarm' 시스템을 개발했다. 에이전트는 한 번의 캘리브레이션 영상과 작업 설명을 받아 시뮬레이션 내에서 장면, 전문가 제어기, 성공 판별 함수를 자동으로 작성한다. 전체 요약 7문장 읽기 → 029 12:11 ▲ 104 · 댓글 2 로봇 범용 작업 위한 대규모 비전-언어 모델, 실제 얼마나 쓸 수 있나 로봇이 장면을 이해하고 행동하며 과제 조건을 충족하려면 어떤 능력이 필요한지 평가하기 위해 '구현된 에이전트 아레나'라는 벤치마크를 소개한다. AI · 머신러닝 · Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena
Key Point 현재 최첨단 VLM 에이전트들이 로봇 조작 작업에서 구체적으로 어떤 한계를 보이는지, 폐쇄형과 오픈 모델의 성능 격차가 어디서 비롯되는지 체계적으로 밝혔다.
핵심 요약
로봇이 장면을 이해하고 행동하며 과제 조건을 충족하려면 어떤 능력이 필요한지 평가하기 위해 '구현된 에이전트 아레나'라는 벤치마크를 소개한다. 이 벤치마크는 기하학, 공간 추론, affordance, 작업 계획, 조작 5개 영역을 평가하며, 32개 기존 데이터셋과 카메라·동작·깊이·스케일 추정을 위한 새로운 168개 케이스 GeoProbe로 총 1,000개 사례를 구성한다. 10개 VLM 에이전트를 평가한 결과, 폐쇄형 가중치 모델들이 5개 영역 모두에서 앞섰으나 오픈 가중치 VLM은 공간 추론은 유용하지만 계획과 조작 성공률이 훨씬 낮았다. 전체 요약 8문장 읽기 → 030 18:11 ▲ 85 · 댓글 2 AI 시스템이 상황마다 최적의 모델을 고르는 법 통용 AI 시스템이 다양한 도메인과 모달리티를 다루려면 여러 전문 모델과 도구를 조율하는 라우팅 기법이 필요하다. AI · 머신러닝 · Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems
Key Point 다양한 AI 작업을 하나의 시스템으로 처리할 때 여러 모델 중 각 상황에 맞는 것을 자동으로 선택하는 기법이 실제로 얼마나 효과적인지 처음 대규모 검증했기 때문이다.
핵심 요약
통용 AI 시스템이 다양한 도메인과 모달리티를 다루려면 여러 전문 모델과 도구를 조율하는 라우팅 기법이 필요하다. Route Anything은 모델과 정책 라우팅을 통일된 프레임워크로 연구하며, 품질-비용 균형 속에서 최적 라우팅 조건을 수학적으로 규명한다. 언어 이해, 이미지·비디오·음성 생성, 코딩 에이전트, 로봇 조작 등 25개 벤치마크에서 452개 후보 모델 조합으로부터 37만 4401건의 평가 데이터를 수집했다. 전체 요약 6문장 읽기 → 031 18:11 ▲ 57 · 댓글 2 영상 확산 모델으로 범용 행동 표현 학습하는 DreamX 발표 비디오 확산 모델을 활용해 인간과 로봇 간에 공유 가능한 범용 행동 표현을 학습하는 DreamX를 제안했다. AI · 머신러닝 · DreamX: Video Diffusion Model is a Universal Latent Action Learner
Key Point 로봇과 인간 간 행동을 한 번에 학습하는 시스템으로, 다양한 실체와 환경에서 제로샷 전이가 가능해 로봇 학습 연구의 확장성을 크게 향상시킬 수 있다.
핵심 요약
비디오 확산 모델을 활용해 인간과 로봇 간에 공유 가능한 범용 행동 표현을 학습하는 DreamX를 제안했다. 기존 잠재 행동 모델은 시각적 변화와 행동을 얽혀 표현해 구현체 간 전이가 어려웠던 반면, DreamX는 비디오 모델의 생성 능력을 활용해 행동 관련 역학만 추출한다. 각 프레임을 1,200개에서 4개 토큰으로 압축해 300배 감소시키며, 의상이나 배경 같은 시각적 변화로부터 행동을 분리한 잠재 공간을 생성한다. 전체 요약 6문장 읽기 → 032 15:11 ▲ 47 · 댓글 2 범용 로봇 정책을 대규모로 평가하는 RoboColosseum 프레임워크 공개 로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다. 하드웨어 · 시스템 · RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
Key Point 로봇 정책의 범용성과 적응력을 대규모 분산 환경에서 검증한 첫 사례로, 재현 불가능성 문제를 해결하고 실제 환경에서의 로봇 학습 진전을 측정하는 새로운 평가 방법론을 제시한다.
핵심 요약
로봇 정책의 범용성을 평가하기 위해 전 세계 124개 사이트의 로컬 로봇 네트워크를 연결한 분산 평가 프레임워크 RoboColosseum을 제시했다. 5개의 VLA(시각-언어-행동) 정책과 3개의 최신 AI 에이전트를 SO-101, Franka, Bimanual-YAM, G1 Humanoid 4개 로봇 플랫폼에서 평가했다. Open Track에서는 과제별 적응 없이 5,699회의 페어링 비교를 수행했으며, 최신 AI 에이전트들이 특화된 VLA 정책과 대등한 성능을 보였지만 모든 시스템이 개방형 과제에서 안정적 완료에 어려움을 겪었다. 전체 요약 7문장 읽기 → 033 06:11 ▲ 166 · 댓글 82 천장에 매달린 4개 모터 로봇팔, 800달러 오픈소스로 케이블 구동 방식의 룸스케일 그리퍼 로봇 Stringman이 공개됐다. 4개의 DM-H6215 모터로 천장 모서리에서 케이블을 이용해 실내 전체 영역에 접근할 수 있다. 하드웨어 · 시스템 · Stringman, an $800 open-source room scale gripper robot
Key Point 케이블 드라이브 방식으로 실내 전체를 탐색할 수 있으면서도 800달러라는 저가 오픈소스 로봇이 나왔고, 에이전트 기반 자동화와 교육용으로도 활용 가능한 새로운 로봇 아키텍처를 제시한다.
핵심 요약
케이블 구동 방식의 룸스케일 그리퍼 로봇 Stringman이 공개됐다. 4개의 DM-H6215 모터로 천장 모서리에서 케이블을 이용해 실내 전체 영역에 접근할 수 있다. 7×7×3m 규모의 실내에서 28N의 선 장력 한계 내에 약 2kg의 탑재량을 제공하며, 데스크톱 암 대비 달러당 작업 영역이 약 500배 넓다. 기계 CAD, PCB, 제어 소프트웨어가 모두 오픈소스로 공개되었으며 OSHWA 인증을 받았다. 전체 요약 11문장 읽기 → 034 15:11 ▲ 45 · 댓글 1 오픈 모델로 로봇 제어 AI 민주화 로봇 제어 AI(RUA)는 뛰어난 제로샷 조작 성능을 보이지만 구글, OpenAI 같은 상용 모델에 의존해 연구가 제한됐다. AI · 머신러닝 · Democratizing Robot-Use Agents: A Unified Harness with Open Models
Key Point 오픈 모델로 상용 API 없이도 로봇 제어 AI를 학습·개발할 수 있는 길이 열렸고, 작은 오픈 모델이 폐쇄형 최신 모델을 이미 능가하는 결과가 나왔기 때문이다.
핵심 요약
로봇 제어 AI(RUA)는 뛰어난 제로샷 조작 성능을 보이지만 구글, OpenAI 같은 상용 모델에 의존해 연구가 제한됐다. 연구팀이 uni-robot-agent라는 오픈 가중치 로봇 제어용 통합 프레임워크를 공개했고, 추가 학습을 지원한다. 특수한 입력 없이 Qwen 3.8-Flash-Next가 RoboDojo 기준 31.39점을 달성, 공개된 GPT-6 Astra-RoboProbe의 28.97점을 넘었다. 전체 요약 5문장 읽기 → 035 03:11 ▲ 25 · 댓글 2 한 번의 생성으로 실시간 제어, OSWAM 발표 직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. AI · 머신러닝 · OSWAM: An Effective World Action Model with One-Step Action Generation
Key Point 자율주행과 로봇 제어의 실시간 의사결정이 필요한 상황에서 한 단계의 빠른 생성으로 충분한 품질을 내는 새로운 방식이 제시됨에 따라 실제 배포 가능성이 크게 높아졌다.
핵심 요약
직접 정책 기반 월드 액션 모델(WAM)은 자율주행과 구체화된 제어에서 미래 시각 예측 없이 행동 생성을 할 수 있지만, 경쟁력 있는 품질을 위해 수십 개의 노이즈 제거 단계가 필요해 실시간 배포를 어렵게 한다. 노이즈 제거 단계를 단순히 줄이면 비선형 다단계 궤적이 무너져 행동 품질이 크게 저하된다. 이 문제를 해결하기 위해 연구진은 한 단계의 확산만으로 고품질 행동을 생성하는 OSWAM(One-Step World Action Model)을 제안했다. 전체 요약 7문장 읽기 → 036 21:11 ▲ 17 · 댓글 4 로봇 제어의 '뇌와 소뇌'를 한곳에 모은 REA 런타임 파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. AI · 머신러닝 · REA: A Routed Embodied Agent Runtime for Asynchronous Brain-Cerebellum Control
Key Point 로봇 제어에서 느린 '뇌'와 빠른 '소뇌'의 충돌을 런타임 수준에서 해결한 새로운 접근으로, 실제 로봇 작업에서 기존 방식보다 25~26% 더 효율적으로 작동함을 보여줍니다.
핵심 요약
파운데이션 모델은 고수준 추론에는 강하지만 미세한 제어에는 너무 느리고, VLA 같은 빠른 정책은 반응성은 좋지만 일반화에 약하다는 문제가 있다. REA는 deliberative System 2(파운데이션 모델), embodied router System 1(라우터), reactive System 0(빠른 정책)을 하나의 런타임에서 조율하는 통합 시스템이다. 핵심 규칙은 '어떤 실행 정책도 뇌의 응답을 기다리지 않는다'는 것으로, 비동기 조율을 통해 속도 저하를 방지한다. 전체 요약 7문장 읽기 → 037 21:11 ▲ 20 · 댓글 2 시각 기초 모델, 공간 인식 능력 충분한가 시각 기초 모델이 카메라 시점의 연속 영상에서 보이지 않는 영역을 추적하고 장면을 이해하는 공간 표현을 제공하는지 검증하는 연구다. AI · 머신러닝 · Probing Spatial State Representations in Visual Foundation Models
Key Point 시각 기초 모델이 이미지 인식만 하는 게 아니라 실제 로봇처럼 보이지 않는 물체를 추적하고 행동을 계획할 수 있는 공간 인식 능력이 있는지 정량적으로 검증한 첫 시도로, 현재 모델들의 한계를 명확히 드러낸다.
핵심 요약
시각 기초 모델이 카메라 시점의 연속 영상에서 보이지 않는 영역을 추적하고 장면을 이해하는 공간 표현을 제공하는지 검증하는 연구다. 연구팀은 10개 모델의 표현을 공간 구조·물체 지속성·예측적 공간 업데이트·행동 유도 등 4가지 수준의 능력으로 평가했다. 보이는 장면에서 높은 정확도를 보이는 모델도 물체 지속성(보이지 않는 물체 추적)과 미래 특성 인출(future-feature retrieval)에서는 성능이 떨어진다. 전체 요약 7문장 읽기 → 038 18:11 ▲ 14 · 댓글 2 로봇 영상과 행동을 연결해 작업 일반화 개선 로봇이 새로운 작업에 적응하도록 하는 World Action Models(WAM)의 과제를 연구했으며, 영상 일반화와 행동 일반화라는 두 가지 기능이 중요함을 발견했다. AI · 머신러닝 · WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
Key Point 로봇 학습에서 새로운 작업 적응의 핵심인 영상과 행동 데이터의 역할을 실험적으로 규명하고, 이를 바탕으로 다양한 벤치마크에서 최고 성능을 달성한 실용적 모델을 제시했다.
핵심 요약
로봇이 새로운 작업에 적응하도록 하는 World Action Models(WAM)의 과제를 연구했으며, 영상 일반화와 행동 일반화라는 두 가지 기능이 중요함을 발견했다. RoboTwin 2.0에서 훈련 분포 내 영상-행동 감독만으로는 25.07% 성공률을 보였고, 훈련 외 작업의 영상을 추가하면 55.90%로 올라갔으며, 작업당 단 한 개의 행동 라벨까지 더하면 70.70%에 도달했다. 이는 더 폭넓은 영상 커버리지가 기존 역동역학 능력을 활용해 작업 전이를 가능하게 하고, 희소한 행동 감독이 이 능력을 더욱 강화함을 시사한다. 전체 요약 7문장 읽기 → 039 15:11 ▲ 20 · 댓글 2 소형 언어모델로 로봇 조작 명령 프로그래밍하기 로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. AI · 머신러닝 · CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents
Key Point 로봇 조작 AI를 프론티어 모델 의존에서 벗어나 오픈소스 소형 모델로도 실현할 수 있게 하는 구체적 방법과 검증 결과를 제시한다.
핵심 요약
로봇 조작을 코드로 구현하는 'code-as-policy(CaP)' 방식에서 기존 접근은 GPT 같은 프론티어 모델을 의존하거나 사전학습된 비전-언어-액션 모델(VLA)을 위임했다. 연구팀이 공개한 CaPtain은 소형 오픈소스 비전-언어 모델(Qwen 3.5-4B)을 미세조정과 강화학습으로 독립적인 로봇 정책 에이전트로 훈련하는 파이프라인이다. 파이프라인은 CaPtain-Harness라는 프레임워크 위에서 동작하며, 로봇 API, 저수준 인지·기하학·안전 이동 원시 동작을 시뮬레이션과 실제 하드웨어에서 노출한다. 전체 요약 8문장 읽기 → 040 15:11 ▲ 27 · 댓글 2 로봇 조작에 계층적 미래 예측을 더하다 로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. AI · 머신러닝 · HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
Key Point 로봇이 복잡한 작업을 수행할 때 단기 환경 변화와 장기 목표를 동시에 고려하는 방식이 어떻게 작동하는지 보여주는 새로운 기술 진전으로, 로봇 자동화 분야의 실제 구현 가능성을 높인다.
핵심 요약
로봇 조작 작업을 위한 Vision-Language-Action(VLA) 모델이 시각 인식, 언어 이해, 행동 생성을 통합해 성과를 내고 있으나, 기존 방법들은 단기 역학과 장기 목표를 따로 모델링하고 미래 예측을 행동 요구사항과의 연관성 없이 사용하고 있다. 이를 개선하기 위해 HiFOR은 계층적 미래 예측과 행동 유도 월드 검색을 결합한 프레임워크를 제안한다. 계층적 미래 예측은 단기 상태 변화, 의미론적 마일스톤, 최종 목표 상태를 계층적 의존성 마스크(HDM)를 통해 함께 예측해 시간축 간 의존성을 설정한다. 전체 요약 6문장 읽기 → 041 18:11 ▲ 108 · 댓글 4 Altoids 틴에 넣은 미니 컴퓨터, 부자가 2개월 걸려 완성 MIT Swapfest에서 받은 중고 로봇을 분해한 뒤 128x64 LCD 디스플레이를 재활용하기로 결정했다. 하드웨어 · 시스템 · Altoids Project
Key Point 미니 하드웨어 프로젝트의 전 과정을 보여주며, 특히 설계·제조 과정에서 마주치는 실제 어려움과 그것을 해결하기 위한 반복적 개선, 부자가 함께 배우고 디버깅하는 경험의 가치를 드러낸다.
핵심 요약
MIT Swapfest에서 받은 중고 로봇을 분해한 뒤 128x64 LCD 디스플레이를 재활용하기로 결정했다. AI가 잘못된 핀아웃을 제시했으나 Arduino 포럼의 게시물로 정확한 회로도를 찾았고, U8g2 라이브러리의 Space Trash 게임을 실행했다. YouTube에서 본 Altoids 틴 컴퓨터 프로젝트에 영감을 받아 Arduino Nano, LiPo 배터리, PowerBoost로 축소 버전을 만들기 시작했다. 전체 요약 9문장 읽기 → 042 21:11 ▲ 16 · 댓글 2 휴머노이드 로봇을 위한 멀티모달 기초 모델 HuGe 공개 VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. AI · 머신러닝 · HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience
Key Point 휴머노이드 로봇 제어에 인간 동작 데이터를 효과적으로 활용할 수 있는 방법론이 제시되면서, 로봇 학습 데이터 수집 비용을 크게 줄일 수 있는 길이 열렸기 때문이다.
핵심 요약
VLA(Vision-Language-Action) 모델을 휴머노이드 로봇에 적용할 때 전신 제어와 다양한 시연 데이터가 필요하지만, 현실에서 수집하기 어렵다는 문제가 있다. HuGe는 2,000시간 이상의 1인칭 관점 인간 및 로봇 데이터로 사전학습한 휴머노이드 VLA 모델이다. 세 가지 기존 VLA 아키텍처를 사용해 사전학습된 전신 제어기를 위한 잠재 동작 토큰과 손 제어 신호를 예측한다. 전체 요약 6문장 읽기 → 043 06:11 ▲ 104 · 댓글 18 NVIDIA의 NVL72 시스템, 올바른 스케줄러로 GPU 활용률 27% 향상 InfiniBand 대신 NVLink를 쓸 때 분산 학습 성능이 43% 향상되는데, 전통적으로 NVLink는 단일 노드 내 통신만 지원했다. 인프라 · 데브옵스 · Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks
Key Point NVL72 같은 랙 규모 시스템에서 통신 병목을 피하려면 하드웨어만으로는 부족하고, 올바른 스케줄링이 처리량을 14% 이상 개선할 수 있다.
핵심 요약
InfiniBand 대신 NVLink를 쓸 때 분산 학습 성능이 43% 향상되는데, 전통적으로 NVLink는 단일 노드 내 통신만 지원했다. NVIDIA의 NVL72 시스템은 한 랙의 72개 GPU를 통합 NVLink 패브릭으로 연결하면서 멀티 노드 AI 워크로드를 고대역폭으로 처리할 수 있게 했다. 대규모 학습에서 텐서 병렬화와 전문가 병렬화는 통신 병목이 되는데, 64웨이 전문가 병렬화를 사용하면 InfiniBand에서 학습 시간의 최대 60%가 통신에 소비된다. 전체 요약 13문장 읽기 → 044 03:11 ▲ 11 · 댓글 3 로봇이 장애물 인식은 하는데 안전하게 움직이지 못한다 가정용 로봇이 안전하게 이동하려면 장애물 종류와 거리에 따라 속도와 안전 간격을 조절해야 하는데 기존 평가 방법은 이를 검증하지 않는다. AI · 머신러닝 · Benchmarking Obstacle-Conditioned Safety in Household Robot Navigation
Key Point 가정용 로봇이 위험도를 정확히 판단해도 실제 움직임에 반영하지 못하는 문제가 있으며, 이를 측정하는 벤치마크와 지표의 부재가 큰 한계로 지목되었다.
핵심 요약
가정용 로봇이 안전하게 이동하려면 장애물 종류와 거리에 따라 속도와 안전 간격을 조절해야 하는데 기존 평가 방법은 이를 검증하지 않는다. 연구팀은 같은 장면에 장애물 종류만 다르게 배치한 벤치마크 'OSMA-Bench'와 로봇의 움직임이 장애물 위험도에 맞게 조정되는지 측정하는 'SSI(Semantic Sensitivity Index)' 지표를 제안했다. VLM(시각 언어 모델) 기반 및 VLA(시각 언어 행동) 정책을 평가한 결과 명시적인 안전 지시가 있어도 둘 다 장애물 종류에 따라 움직임을 일관되게 조정하지 못했다. 전체 요약 6문장 읽기 → 045 18:11 ▲ 30 · 댓글 2 로봇 모델 평가, 비용 없이 미리 걸러낸다 로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. AI · 머신러닝 · Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Key Point 로봇 모델을 평가하는 데 드는 비용과 시간을 대폭 줄일 수 있는 방법이 제시되어, 로봇 AI 개발 파이프라인의 효율성이 크게 바뀔 수 있다.
핵심 요약
로봇 파운데이션 모델은 보통 비싼 실제 테스트(closed-loop rollout)로 평가되는데, 연구팀이 저비용 오프라인 방식을 제안했다. 플라토닉 표현 가설(PRH)은 모델 능력이 높아질수록 비전·언어처럼 모달리티들이 현실의 같은 통계 모델로 수렴한다고 본다. 연구진은 움직임 궤적도 이런 모달리티인지 묻고, 감각 표현이 물리 운동의 구조와 얼마나 잘 맞는지 측정하는 S²(Sensorimotor Alignment) 지표를 만들었다. 전체 요약 8문장 읽기 → 046 18:11 ▲ 151 · 댓글 2 로봇 제어 성능 높이는 물리 역학 이해 모델 PDRVLA 로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. AI · 머신러닝 · PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
Key Point 로봇 제어 시뮬레이션에서 최고 수준의 성공률을 달성한 새로운 방식이 기존 비디오 생성 방식의 지연 문제를 해결하고 공개 데이터만으로 학습 가능함을 보여준다.
핵심 요약
로봇의 시각·언어 명령 처리 모델(VLA)이 물리 역학을 충분히 이해하지 못하는 문제를 해결하기 위해 PDRVLA를 개발했다. 기존 비디오 세계 모델은 동역학을 포착하지만 미래 프레임을 생성해야 해 제어 지연이 발생하는데, PDRVLA는 가벼운 물리역학 모듈로 온라인 비디오 생성 없이 행동 생성을 조건화한다. 이 모듈은 미래 RGB, 깊이, 광학 흐름(optical flow) 특성을 직접 예측하며, 동결된 사전 학습 비디오 세계 모델을 통해 보조 감시를 받는다. 전체 요약 6문장 읽기 → 047 18:11 ▲ 22 · 댓글 2 LLM에 로봇 제어 패널만 달면 VLA 모델을 이긴다 로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. AI · 머신러닝 · RoboHarness: A Simple Harness Outperforms VLA and World Action Models
Key Point 대규모 로봇 학습 데이터 없이도 기존 LLM으로 로봇 제어가 가능하다는 것을 보였기에, 구체화된 AI 개발의 패러다임 전환 가능성을 시사한다.
핵심 요약
로봇이 LLM 기반 에이전트로 움직이게 하려면 비전-언어-액션(VLA) 모델을 따로 학습시키는 것이 주류였다. 연구팀은 RoboHarness라는 로봇 제어 인터페이스를 제시해, LLM이 시각-기하학적 제어판을 통해 직접 로봇 동작을 이해하고 호출할 수 있게 했다. VLA 모델 대신 코딩 능력이 있는 LLM 에이전트에 간단한 로봇 장치만 제공하면, 로봇 조작 작업을 수행할 수 있다는 가정에 기반한다. 전체 요약 5문장 읽기 → 048 15:11 ▲ 389 · 댓글 3 멀티모달 에이전트의 자동 성장 체계 'Trinity' 공개 멀티모달 에이전트의 자동 진화를 위해 환경 생성과 작업 학습을 함께 진행하는 'The Trinity' 프레임워크가 제안되었다. AI · 머신러닝 · The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents
Key Point 멀티모달 에이전트의 확장성을 해결하는 자동 성장 프레임워크로, 수작업 없이 능력 기반으로 환경과 모듈을 동시에 진화시키는 혁신적 방식을 보여준다.
핵심 요약
멀티모달 에이전트의 자동 진화를 위해 환경 생성과 작업 학습을 함께 진행하는 'The Trinity' 프레임워크가 제안되었다. 기존 방식은 검증 가능한 환경 구축과 수동 작업 설계에 비용이 많이 드는 문제를 마주했다. 핵심 아이디어는 겉모양은 다르지만 같은 능력 요구사항을 가진 작업들을 찾아내 계층적으로 정리하는 것이다. 전체 요약 8문장 읽기 → 049 15:11 ▲ 14 · 댓글 2 로봇 조작 성공 판정하는 오픈 비전-언어 모델 RoboJev 공개 로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. AI · 머신러닝 · RoboJev: An Open Vision-Language Judge for Robot Success Detection
Key Point 로봇 조작의 성공 판정을 자동화하는 오픈 모델으로, 다양한 로봇 환경에 일반화되며 비용 효율적인 추론 속도를 제공해 로보틱스 연구와 실무에 즉시 활용 가능하다.
핵심 요약
로봇 조작 영상에서 작업 성공 여부를 판단하는 오픈 가중치 비전-언어 모델 RoboJev-27B를 공개했다. 작업 지시, 조작 시도의 10개 프레임, 그리고 보조 카메라 최종 프레임을 입력받아 작업 완료 여부를 예측한다. JEV-27B-VL을 기반으로 52,598개 에피소드 기록으로 학습했으며, 언어 모델만 rank-32 LoRA 어댑터로 미세조정하고 비전 인코더는 고정했다. 전체 요약 9문장 읽기 → 050 15:11 ▲ 102 · 댓글 80 리뷰어는 신뢰성을 외면하고 실사용자는 두 배로 강조한다 BettaScore가 14개 카테고리의 로봇청소기, 레이저 각인기, 3D 프린터 등 657개 제품에 대해 유튜브 리뷰 6,900건과 레딧 스레드 3,567건을 분석했다. 기타 · Reviewers rarely talk about reliability. Owners bring it up twice as often
Key Point 실사용자만 드러내는 신뢰성 문제를 리뷰어는 놓치고 있으며, 같은 제품도 시간이 지날수록 실제 가치와 다른 평가를 받는다는 점이 구매 결정에 큰 영향을 미친다.
핵심 요약
BettaScore가 14개 카테고리의 로봇청소기, 레이저 각인기, 3D 프린터 등 657개 제품에 대해 유튜브 리뷰 6,900건과 레딧 스레드 3,567건을 분석했다. 리뷰어는 신뢰성과 내구성, 지원에 관해 전체 의견의 7.8%만 언급한 반면, 실제 사용자는 17.0%로 두 배 이상 자주 다뤘다. 13개 카테고리에서 사용자가 신뢰성을 더 많이 언급했으며, 로봇청소기(리뷰어 1% vs 사용자 18%), 자동 묘사함(3% vs 39%), 레이저 각인기(14% vs 41%)의 격차가 특히 크다. 전체 요약 12문장 읽기 → 051 12:11 ▲ 55 · 댓글 2 로봇 학습을 인간 영상으로 확대하는 'ThinkWorld' 프레임워크 로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. AI · 머신러닝 · ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning
Key Point 라벨 없는 인간 영상을 로봇 학습에 직접 활용하는 방법이 제시되어, VLA 모델의 훈련 데이터 병목을 푸는 새로운 경로를 제공한다.
핵심 요약
로봇 조작 VLA 모델이 행동 라벨 데이터 부족으로 일반화에 한계를 보이고 있다. 인간 영상은 행동 기록이 없어서 로봇 학습에 직접 활용하기 어렵다는 문제가 있다. ThinkWorld는 행동을 Chain-of-Dynamics(CoD)로 표현하여 세계 역학과 연결한다. 전체 요약 8문장 읽기 → 052 12:11 ▲ 30 · 댓글 3 로봇 조작 모델을 키우다, 영상에서 추출한 3D 행동으로 로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. AI · 머신러닝 · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions
Key Point 로봇 학습 데이터의 부족 문제를 해결하는 새로운 방법론으로, 일반 영상에서 로봇이 학습할 수 있는 신호를 뽑아낼 수 있음을 시사한다.
핵심 요약
로봇 비전-언어-행동(VLA) 모델을 확장하려면 행동 레이블이 붙은 학습 데이터가 부족하고, 로봇마다 제어 방식이 다르다는 제약이 있다. RynnVLA-Latent는 이를 해결하기 위해 사람, 로봇, 시뮬레이션 영상을 로봇 정책 사전학습용 감독 신호로 바꾼다. 핵심은 RynnLAM으로, 시각 전환(visual transition)에서 실제 로봇 제어 없이 3D 기반 잠재 행동을 학습한다. 전체 요약 10문장 읽기 → 053 12:11 ▲ 22 · 댓글 2 비디오 생성 모델의 카메라 흔들림 문제 해결 프레임워크 제안 확산 기반 비디오 생성 모델(VGM)은 시각적으로 그럴듯한 영상을 만들지만, 카메라 시점 이동(ego-motion)이 긴 구간에서 흔들리는 문제가 있다. AI · 머신러닝 · CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion
Key Point 비디오 생성 모델이 장시간 일관된 카메라 움직임을 유지하는 방법론을 제시해 실제 로봇 작업 성능까지 향상시킨 기술적 진전을 보여주기 때문이다.
핵심 요약
확산 기반 비디오 생성 모델(VGM)은 시각적으로 그럴듯한 영상을 만들지만, 카메라 시점 이동(ego-motion)이 긴 구간에서 흔들리는 문제가 있다. CausalAlign은 두 가지 요소로 구성된 인과 정렬 프레임워크로, 먼저 선형 프로브와 인과적 개입을 통해 VGM 내에서 ego-motion이 어떻게 표현·사용·유지되는지 진단한다. 진단 결과 노이즈 제거 과정에서 ego-motion 표현이 상승했다가 하강하는 패턴을 발견했다. 전체 요약 7문장 읽기 → 054 12:11 ▲ 19 · 댓글 3 로봇이 실험하며 배우는 벤치마크 EmbodiedLab 공개 로봇 에이전트가 물리 법칙 발견이나 목표 달성을 위해 직접 행동하면서 배우는 '행동을 통한 지식습득(act to know)' 문제를 다루는 벤치마크 EmbodiedLab을 개발했다. AI · 머신러닝 · EmbodiedLab: Benchmarking Embodied Agents That Act to Know
Key Point 로봇의 지식습득 과정 자체를 체계적으로 평가하는 첫 벤치마크로서, 조작 능력과 인지 능력의 어느 것이 현실 목표 달성에 더 핵심인지를 드러낸다.
핵심 요약
로봇 에이전트가 물리 법칙 발견이나 목표 달성을 위해 직접 행동하면서 배우는 '행동을 통한 지식습득(act to know)' 문제를 다루는 벤치마크 EmbodiedLab을 개발했다. 기존 조작 벤치마크는 목표 상태가 주어졌을 때만 평가하고, 과학 발견 벤치마크는 기호적 행동이나 수치 계산으로만 평가했다면, EmbodiedLab은 로봇이 정량적 과학 실험을 통해 스스로 절차를 선택하고 물리 기반 시뮬레이션 실험실을 조작하는 시나리오다. 14개 장비 플랫폼에 걸쳐 5개 학문 분야의 30개 실험으로 구성되어 있으며, 매번 시스템 파라미터를 새로 샘플링하기 때문에 결과를 미리 알 수 없지만 정확히 채점할 수 있다. 전체 요약 8문장 읽기 → 055 12:11 ▲ 88 · 댓글 2 로봇 정책 개선을 위한 세계모델 역추적 기법 Rollback 행동 조건 세계모델을 이용한 정책 개선 연구에서, 기존 방식은 세계모델을 물리 환경의 순방향 시뮬레이터로만 사용했다. AI · 머신러닝 · Rollback: Experience Backtracking in World Models for Policy Improvement
Key Point 세계모델이 단순한 시뮬레이터를 넘어 과거로 돌아가 대안을 탐색할 수 있게 되면서, 로봇 정책 학습의 효율성과 수렴 속도가 근본적으로 달라진다.
핵심 요약
행동 조건 세계모델을 이용한 정책 개선 연구에서, 기존 방식은 세계모델을 물리 환경의 순방향 시뮬레이터로만 사용했다. 새로운 Rollback 기법은 세계모델을 역추적 가능한 반사실적 엔진으로 변환하여, 과거의 결정 지점으로 돌아가 대안 행동을 탐색한다. 성공과 실패의 결과를 대비하여 행동 수준의 세밀한 감시 신호를 생성하며, 별도의 가치 모델 없이도 상상을 문제해결에 집중시킨다. 전체 요약 8문장 읽기 → 056 06:11 ▲ 13 · 댓글 2 로봇 조작의 멀티뷰 활용을 높이는 FocusVLA 기법 로봇 조작을 위한 VLA 모델이 시각, 언어, 행동을 통합하지만 기존 모델들이 멀티뷰 이점을 충분히 활용하지 못하고 있다. AI · 머신러닝 · FocusVLA: Future-Intent Guided Dynamic View Routing for Vision-Language-Action Models
Key Point 로봇 조작의 정확도가 실무에서 중요한 만큼, 멀티뷰 센서 데이터를 효율적으로 활용하는 방법은 제조 로봇, 협업 로봇 개발에 직결된다.
핵심 요약
로봇 조작을 위한 VLA 모델이 시각, 언어, 행동을 통합하지만 기존 모델들이 멀티뷰 이점을 충분히 활용하지 못하고 있다. 실험 결과 기존 VLA 모델들이 손목 카메라(wrist view)에 지나치게 의존하면서 조작 단계별로 전역 관점과 국소 관점의 균형을 동적으로 조정하지 못하는 문제를 확인했다. 이를 해결하기 위해 FocusVLA를 제안하는데, 이전 행동으로부터 미래 상호작용 의도를 예측하고 이를 행동 생성 중 뷰 라우팅에 활용한다. 전체 요약 7문장 읽기 → 057 06:11 ▲ 135 · 댓글 64 아마존, AI 사업 대폭 축소 후유증 아마존이 자체 AI 연구소를 대폭 축소하고 있다. ChatGPT, Claude, Gemini 같은 대형 언어모델과 달리 아마존의 Nova는 시장에서 주목받지 못했다. AI · 머신러닝 · Amazon Is Gutting Its AI Division After Sustained Failure
Key Point 아마존 같은 거대 기술 기업도 LLM 투자에서 손을 떼고 있다는 신호는 AI 산업의 현실을 보여주며, 어느 분야가 실질적 가치를 만드는지 재평가하는 전환점이 될 수 있다.
핵심 요약
아마존이 자체 AI 연구소를 대폭 축소하고 있다. ChatGPT, Claude, Gemini 같은 대형 언어모델과 달리 아마존의 Nova는 시장에서 주목받지 못했다. 아마존은 Nova 텍스트 모델, 영상·이미지 생성 모델 등 대부분의 AI 모델을 '점화 유지' 상태로 전환했다. 이는 기술적으로 지원되지만 최소한의 리소스만 할당받는 상태를 뜻한다. 회사의 노동력과 컴퓨팅 파워를 단 하나의 목표로 집중시켰다. 2024년 인수한 로봇 회사 Covariant의 수장 Pieter Abbeel이 주도하는 '프론티어 모델' 개발에 중점을 두고 있다. 전체 요약 6문장 읽기 → 058 03:11 ▲ 15 · 댓글 2 AI 영상 학습 최적화, 프레임 간 의존성 제거로 1.45배 빠른 로딩 대규모 AI 모델 학습에 사용되는 영상 데이터셋은 임의의 시간 구간에서 프레임을 샘플링하는데, 순차 재생 최적화된 기존 영상 저장 방식이 병목이 된다. AI · 머신러닝 · Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access
Key Point AI 모델 학습용 영상 데이터의 로딩 병목을 해결하는 방법을 제시하며, 대규모 학습 인프라의 처리량을 크게 높일 수 있어 실용적이다.
핵심 요약
대규모 AI 모델 학습에 사용되는 영상 데이터셋은 임의의 시간 구간에서 프레임을 샘플링하는데, 순차 재생 최적화된 기존 영상 저장 방식이 병목이 된다. 기존 방식은 프레임 간 참조 구조로 압축률을 높이지만, 임의 접근 시 관련 없는 프레임도 함께 디코딩해야 해 비효율적이다. 논문은 두 가지 디코딩 증폭 원인을 파악했다: 무관한 프레임의 순차 복원과 샘플링 대상이 참조하는 체인의 복원이다. 전체 요약 8문장 읽기 → 059 03:11 ▲ 298 · 댓글 164 구글 DeepMind, 음성·대사까지 생성하는 세계 시뮬레이션 모델 'Genie 4' 공개 DeepMind가 세계 시뮬레이션 모델 'Genie 4'를 발표했으며, 음악·주변음·대화까지 실시간으로 함께 생성하는 네이티브 멀티모달 모델이다. AI · 머신러닝 · Genie 4
Key Point 텍스트·이미지·비디오에 이어 이제 오디오까지 생성하는 세계 시뮬레이션이 실시간 상호작용 수준에 도달했으며, AI 영상 생성 기술의 새로운 기준을 제시한다.
핵심 요약
DeepMind가 세계 시뮬레이션 모델 'Genie 4'를 발표했으며, 음악·주변음·대화까지 실시간으로 함께 생성하는 네이티브 멀티모달 모델이다. Gemini Omni를 활용해 사실적인 외관과 동작을 앵커링하고, 다른 Gemini 모델들이 복잡한 추론으로 시뮬레이션 일관성을 유지한다. 사용자가 자연어로 실시간 날씨 변경·카메라 이동·객체 추가 같은 지시를 내리면 Gemini가 맥락에 맞게 적응시키며, 사용자 입력 사이에도 장면이 일관성 있게 진행된다. 전체 요약 12문장 읽기 → 060 00:11 ▲ 13 · 댓글 2 로봇 작업 성공·실패 판단 통합한 비전-언어-행동 모델 'Echo' 로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. AI · 머신러닝 · Echo: Coupled Action and Task Status Signal Denoising for Vision Language Action Models
Key Point 로봇이 작업 완료를 감지하고 자율적으로 판단할 수 있어야 실제 환경에서 신뢰할 수 있는 에이전트로 동작할 수 있기 때문이다.
핵심 요약
로봇이 작업 완료 시 멈추고 실패 시 복구·재계획할 수 있도록, 작업 상태 신호(stop/failure) 예측을 Vision Language Action 모델에 통합하는 'Echo' 프레임워크를 제시했다. 기존 방식은 프레임 단위의 세밀한 지도학습, 외부 감시 모델, 복잡한 아키텍처를 요구했으나, Echo는 프로세스 주석 없이 작업 상태 신호를 학습하면서도 단일 VLA 내에 상태 예측과 행동 생성을 간단히 통합한다. stop 신호와 failure 신호를 행동 청크의 두 차원으로 추가하고, 로봇 행동과 함께 노이즈 제거 과정을 거쳐 두 신호의 조합으로 진행 중·성공·실패 상태를 구분한다. 전체 요약 6문장 읽기 → 061 21:11 ▲ 43 · 댓글 2 장편 비디오도 정확히 3D 복원하는 계층 포즈 그래프 딥러닝 모델로 짧은 비디오에서 카메라 움직임과 3D 기하를 정확히 추정할 수 있지만, 수천 개 프레임의 긴 영상은 계산량과 메모리 문제로 겹치는 청크(chunk) 단위로 나눠 처리해야 한다. AI · 머신러닝 · HiP3R: Hierarchical Pose Graphs for Long-Horizon 3D Reconstruction
Key Point 긴 비디오의 3D 복원에서 지역 최적화와 전역 일관성 사이의 근본적 트레이드오프를 계층 구조로 해결한 방법으로, 자율주행·로봇·공간 매핑 등 실제 응용에서 필요한 기술이다.
핵심 요약
딥러닝 모델로 짧은 비디오에서 카메라 움직임과 3D 기하를 정확히 추정할 수 있지만, 수천 개 프레임의 긴 영상은 계산량과 메모리 문제로 겹치는 청크(chunk) 단위로 나눠 처리해야 한다. 이 방식은 각 청크마다 독립적인 3D 복원을 만들어 좌표계가 일치하지 않고 카메라 위치가 중복으로 추정되는 문제가 발생한다. 인접한 청크와 멀리 떨어진 재방문 지점에서의 제약 조건을 전파해 전역 일관성을 맞춰야 하는데, 이는 포즈 그래프 최적화로 자연스럽게 해결된다. 전체 요약 6문장 읽기 → 062 15:11 ▲ 123 · 댓글 2 사람의 물리적 행동을 돕는 AI 어시스턴트 평가 벤치마크 공개 착용형 기기의 다중모달 대형언어모델(MLLM) 어시스턴트가 사용자를 가이드하고 지시하는 상황을 평가하기 위해 InteractiveWorld라는 검증 가능한 환경을 제안했다. AI · 머신러닝 · InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
Key Point 지능형 어시스턴트가 실제로 사람의 물리적 작업을 도울 수 있는지 검증할 수 있는 표준화된 평가 체계가 처음 등장했으며, 현재 최신 모델들의 성능 한계가 명확히 드러났기 때문이다.
핵심 요약
착용형 기기의 다중모달 대형언어모델(MLLM) 어시스턴트가 사용자를 가이드하고 지시하는 상황을 평가하기 위해 InteractiveWorld라는 검증 가능한 환경을 제안했다. 기존 로봇 중심 시뮬레이터와 달리 InteractiveWorld는 AI 어시스턴트가 사람 에이전트에게 지시하고, 사람이 관찰·이해·독립적으로 행동하는 폐루프 상호작용을 현실적으로 모의한다. 어시스턴트의 명령이 실제 결과를 좌우하며, 상태 기반 리워드로 검증 가능하게 채점되는 방식이다. 전체 요약 6문장 읽기 → 063 12:11 ▲ 28 · 댓글 2 로봇 모방학습을 위한 다양한 시연 자동 발굴 기법 로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. AI · 머신러닝 · DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning
Key Point 로봇 모방학습의 데이터 커버리지 문제를 해결하는 실용적 방법론으로, 시뮬레이션과 실제 로봇 모두에서 성공률을 크게 향상시키는 구체적 성과를 보여준다.
핵심 요약
로봇 조작 작업의 행동 복제(Behavior Cloning)는 학습 데이터 커버리지에 민감하지만, 다양한 성공 시연 수집은 비용이 높다. 연구팀이 강화학습(RL)을 배포 가능한 제어기가 아닌 하위 시각-운동 모방학습용 데이터 생성기로 활용하는 접근법을 제시했다. 여러 성공 해결책이 단일 방식을 반복 수집할 때보다 더 넓은 범위의 성공적 궤적을 포괄한다는 게 핵심 가정이다. 전체 요약 8문장 읽기 → 064 00:11 ▲ 117 · 댓글 130 피터 티엘, 기술 과두정체 속 '종말론적 신학'의 아버지 PayPal 창업자 피터 티엘은 2016년 훌크 호건의 가워커 소송에 비밀리에 자금을 지원해 $1.4억 배상금을 받게 했으며, 이를 통해 미국 사회에 깊은 변화가 일어났다고 믿고 트럼프의 정치 경력을 시작하는 데 조력했다. 스타트업 · 비즈니스 · Peter Thiel, the tech oligarch who believes in the Antichrist
Key Point 기술 부호의 사상이 실제 정부 정책과 감시 체계에 미치는 영향을 구체적으로 보여주며, 스타트업 신화 뒤에 숨겨진 권력 집중과 민주주의 거부의 철학이 무엇인지 드러낸다.
핵심 요약
PayPal 창업자 피터 티엘은 2016년 훌크 호건의 가워커 소송에 비밀리에 자금을 지원해 $1.4억 배상금을 받게 했으며, 이를 통해 미국 사회에 깊은 변화가 일어났다고 믿고 트럼프의 정치 경력을 시작하는 데 조력했다. 현재 58세인 티엘은 부통령 J.D. 밴스, 상원의원 테드 크루즈 등 정치인들의 부상을 이끌었으며, 기술 국가주의를 추진하고 UN·NATO 등 국제기구에 반대하는 실리콘밸리 최대 영향력자다. 티엘은 르네 지라르의 모방적 욕망 이론, 칼 슈미트의 친구-적 사상, 레오 슈트라우스의 자유민주주의 비판을 혼합한 독특한 철학을 발전시켰으며, '적그리스도'와 '카테혼'(적그리스도를 억누르는 것) 개념 중심의 개인 신학을 구축했다. 전체 요약 13문장 읽기 → 065 21:12 당일 +109 DeepSeek 활용을 IM에 접목, 9개 채널 일괄 지원 dsh-im은 QR코드나 봇 자격증명으로 DeepSeek Harness를 飞书·微信·钉钉·企业微信·QQ·Slack·Telegram·Discord·WhatsApp 9개 메신저에 연결하는 플러그인이다. AI · 머신러닝 · xmanrui/dsh-im · JavaScript
Key Point DeepSeek 가중치가 높아지면서 대형 LLM을 9개 주요 메신저에 한 번에 연결할 수 있는 통합 솔루션이 생겨, 기업 메시징 환경에서 AI 활용 폭이 크게 넓어진다.
핵심 요약
dsh-im은 QR코드나 봇 자격증명으로 DeepSeek Harness를 飞书·微信·钉钉·企业微信·QQ·Slack·Telegram·Discord·WhatsApp 9개 메신저에 연결하는 플러그인이다. 각 채널별로 독립된 메신저 봇을 여러 개 추가할 수 있으며, 각 봇마다 연결 상태·작업 공간·모델·세션이 따로 관리된다. 飞书·微信·钉钉·企业微信·QQ·Slack·Telegram·Discord·WhatsApp는 스트리밍 또는 메시지 편집으로 사고 과정과 생성 결과를 실시간 표시하고, 음성 입출력·이미지 분석·파일 회전송을 지원한다. 전체 요약 12문장 읽기 → 066 15:11 ▲ 55 · 댓글 4 마인크래프트 정복하는 비전 언어 행동 에이전트 마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. AI · 머신러닝 · HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
Key Point 실제 마인크래프트 환경에서 인간 수준의 자율 행동을 보이는 에이전트가 처음 실현되었으며, 이는 게임 AI뿐 아니라 로봇 제어, 업무 자동화 등 복잡한 실제 환경에서의 에이전트 설계 방식을 재정의할 수 있다.
핵심 요약
마인크래프트 같은 개방형 게임에서 인간처럼 행동하는 자율 에이전트를 만들기 위해 장기적 계획과 네이티브 인터페이스 조작을 모두 필요로 한다. HiSTEVE는 계층적 VLA 에이전트로, 상위 수준의 조율 계층과 하위 수준의 제어 계층으로 구성되어 있다. 조율 계층은 구조화된 메모리로 진행상황을 추적하고 VLM 플래너로 수행 가능한 부작업을 선택하며, 정책 기반 작업 완료 감지기로 부작업 완료 여부를 판단한다. 전체 요약 7문장 읽기 → 067 15:11 ▲ 54 · 댓글 2 RynnUnify: 로봇 제어까지 아우르는 통합 embodied AI 모델 RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. AI · 머신러닝 · RynnUnify: Towards Unified Embodied Brain
Key Point 물리 세계 이해부터 실제 로봇 제어까지 하나의 모델으로 통합하려는 시도로, embodied AI 연구의 새로운 기준을 제시한다.
핵심 요약
RynnUnify는 영상-언어 추론을 통해 embodied 이해와 장기 시각 계획을 결합한 160억 파라미터 통합 모델이다. 공간 추론, 물리 예측, 그라운딩 능력으로 물리 세계에 대한 이해와 변화 예측을 연결한다. 강화학습으로 에이전트 확장 버전을 개발했으며, 관찰되지 않은 상태와 상호작용 결과 추론을 위해 영상 예측을 선택적으로 활용한다. 전체 요약 8문장 읽기 → 068 00:11 ▲ 106 · 댓글 17 스테레오 비전 기능을 갖춘 저가 해킹보드 공개 Rockchip RV1103 SoC(단일코어 1.1GHz ARM Cortex-A7, 64MB DDR2 RAM, QFN-88 패키지)를 사용하여 스테레오 비전 보드를 설계했고, 로봇공학 프로젝트의 장애물 회피·항법 용도로 활용할 수 있다. 하드웨어 · 시스템 · I Built a Stereo Vision Board for Hardware Hackers
Key Point 저비용 SoC로 완전한 스테레오 비전 보드를 만들어 오픈소스 설계를 공개하므로, 로보틱스나 컴퓨터 비전이 필요한 하드웨어 프로젝트의 새로운 선택지가 될 수 있다.
핵심 요약
Rockchip RV1103 SoC(단일코어 1.1GHz ARM Cortex-A7, 64MB DDR2 RAM, QFN-88 패키지)를 사용하여 스테레오 비전 보드를 설계했고, 로봇공학 프로젝트의 장애물 회피·항법 용도로 활용할 수 있다. 4층 PCB 보드를 제작했으며 처음 설계에서 SoC 오주문, 렌즈 마운트 홀 크기 오류, LED 저항값 부족, 0.9V 트레이스 두께 미흡 등 몇 가지 문제가 있었다. Buildroot 빌드 시스템으로 Linux 커널·부트로더·드라이버를 구성했으며, Rockchip MIPI 드라이버·하드웨어 가속기 등은 벤더 BSP(보드 서포트 패키지)에서 가져왔다. 전체 요약 8문장 읽기 → 069 12:11 ▲ 13 · 댓글 2 카메라 영상과 깊이만으로 물체 자세 파악하는 F2G-Pose 공개 RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. AI · 머신러닝 · F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
Key Point 라벨이나 사전 학습된 모델 없이 실시간으로 물체 자세를 복구할 수 있는 효율적인 방법이 로봇 조작과 3D 비전 응용에 큰 영향을 미칠 수 있기 때문이다.
핵심 요약
RGB-D 이미지에서 물체의 3D 회전과 이동을 추정하는 카테고리 수준 물체 자세 인식 문제를 다룬다. 부분적 관찰과 자세 모호성이 있어도 인스턴스 특화 CAD 모델이나 참조 이미지 없이 자세를 복구해야 한다. 기존 방식은 중간 구조 기반 방법은 오류 전파에 취약하고, 확산 모델은 높은 추론 지연 시간과 복잡한 후처리 과정이 필요했다. F2G-Pose는 단일 RGB-D 관찰에서 한 번의 순전파로 물체 자세·실제 크기·완성된 형태를 동시에 예측하는 실시간 직접 예측 프레임워크다. 전체 요약 8문장 읽기 → 070 12:11 ▲ 13 · 댓글 3 AI가 손으로 조립하는 레고, 물리 타당성 100% 달성 코딩 AI 에이전트는 3D 모델링 능력은 높지만, 실제 조립 가능한 구조를 만드는 데는 어려움을 겪고 있다: 부품이 떠 있거나 충돌하거나 연결되지 않은 잘못된 조립체를 생성한다. AI · 머신러닝 · BrickWright: Agentic Creation of Physically Feasible Brick Builds
Key Point AI가 생성한 3D 구조의 '실제 조립 가능성'을 검증하는 새로운 접근법이 100% 성공률을 달성했으며, 로봇 공학·제조업·디지털 설계 도구의 신뢰성 표준을 높인다.
핵심 요약
코딩 AI 에이전트는 3D 모델링 능력은 높지만, 실제 조립 가능한 구조를 만드는 데는 어려움을 겪고 있다: 부품이 떠 있거나 충돌하거나 연결되지 않은 잘못된 조립체를 생성한다. BrickWright는 조립 도구와 물리 타당성 검증 기능을 제공해 AI가 텍스트나 이미지 지시에서 실제 조립 가능한 레고 구조를 생성하도록 안내하는 프레임워크다. BrickLayer라는 Python 툴킷이 핵심이며, 두 부분으로 구성된다: 사용하기 쉬운 레고 조립 API(원본 LDraw 형식 대비 추론 비용 절반)와 물리 타당성 피드백을 주는 검증기다. 전체 요약 5문장 읽기 → 071 06:11 ▲ 106 · 댓글 57 Dream-1, 미세조정 없이 새 로봇 제어하는 범용 로봇 정책 공개 Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. AI · 머신러닝 · Dream-1
Key Point 기존 로봇은 각 기종마다 별도 데이터와 미세조정이 필요했지만, Dream-1은 처음 보는 로봇을 즉시 제어할 수 있어 로봇 개발자와 스타트업의 진입장벽을 크게 낮춘다.
핵심 요약
Dream Labs가 $90M 시드펀딩으로 설립을 발표하며 World Action Model 기반의 범용 로봇 정책 Dream-1을 공개 API로 제공한다. Dream-1은 이전에 본 적 없는 로봇, 작업, 환경에서 제로샷 일반화가 가능하며, 미세조정이나 로봇별 데이터 수집 없이도 작동한다. 로봇팔 비용이 $2k까지 하락하고 하양이 $399짜리 마이크로덕 4일간 1만 대 이상 판매되면서 대중용 로봇 시장이 성장 중이다. 전체 요약 13문장 읽기 → 072 03:11 ▲ 17 · 댓글 2 에이전트 비전 작업 평가 벤치마크 공개 비전-언어 모델(VLM)의 에이전트 환경에서의 성능을 평가하기 위해 AgentVQA 벤치마크를 개발했다. AI · 머신러닝 · AgentVQA: A Unified Benchmark for Agentic Visual Understanding
Key Point 에이전트 AI 성능 평가의 새로운 표준으로, VLM이 실제 상호작용 환경에서 어디서 약한지 구체적으로 보여준다.
핵심 요약
비전-언어 모델(VLM)의 에이전트 환경에서의 성능을 평가하기 위해 AgentVQA 벤치마크를 개발했다. 웹 에이전트, 로봇, 일인칭 영상, 게임, 공간 계획 등 5개 도메인의 에이전트 시나리오를 포함한다. 23개 소스 데이터셋에서 1000개의 도전적인 실제 에이전트 예시를 수동으로 선별하고 오프라인 평가용으로 적응시켰다. 전체 요약 7문장 읽기 → 073 21:11 당일 +599 강화학습으로 움직이는 오리 로봇, 마이크로덕 공개 폴렌 로보틱스가 높이 약 25cm, 무게 800g의 양다리 오리 로봇 마이크로덕의 제어 소프트웨어를 공개했다. 하드웨어 · 시스템 · pollen-robotics/microduck · Rust
Key Point 강화학습으로 훈련된 신경망 정책을 탑재한 로봇의 전체 소프트웨어 아키텍처와 개발 방식을 공개함으로써, 소형 이족 보행 로봇의 제어·배포·업그레이드 파이프라인을 어떻게 구현할 수 있는지 보여준다.
핵심 요약
폴렌 로보틱스가 높이 약 25cm, 무게 800g의 양다리 오리 로봇 마이크로덕의 제어 소프트웨어를 공개했다. Rockchip RK3566 프로세서 위에서 15개 서보 모터를 제어하는 50Hz 제어 루프를 포함하며, 라디오·카메라·자동 업데이트 시스템 등 완전한 로봇 운영 체계를 담고 있다. 행동 정책은 MuJoCo 시뮬레이터와 PPO 강화학습, 시뮬레이션 투 리얼(sim2real) 기법으로 훈련한 후 ONNX 형식으로 변환되어 로봇에 로드된다. 전체 요약 8문장 읽기 → 074 21:11 ▲ 13 · 댓글 2 로봇 조작용 기초 모델 ACE-Brain-0.6 공개 일반 목적 멀티모달 모델들이 구현된 로봇 조작에서 우수한 성능을 보이는 이유는 강한 공간 지각 능력 때문으로, 시각적 방해물 속에서 작업 관련 물체와의 상호작용 위치를 정확히 파악한다. AI · 머신러닝 · ACE-Brain-0.6: Scaling Spatial Grounding for Physical Foundation Models
Key Point 로봇 작업용 오픈 모델이 상용 대형 모델과 경쟁할 수 있는 수준에 도달했으며, 그라운딩 데이터 확장이 구현화 AI의 성능을 개선하는 핵심 경로임을 실증했다.
핵심 요약
일반 목적 멀티모달 모델들이 구현된 로봇 조작에서 우수한 성능을 보이는 이유는 강한 공간 지각 능력 때문으로, 시각적 방해물 속에서 작업 관련 물체와의 상호작용 위치를 정확히 파악한다. 공간 지각은 고수준 추론을 물리 장면에 연결하는 역할을 하므로, 연구진은 시각 그라운딩을 확장하여 구현화된 조작의 지각적 기반을 강화하는 방법을 조사했다. 로봇 조작 기록과 다양한 출처의 보충 시각 데이터를 결합하는 통합 데이터 파이프라인을 개발했으며, 로봇 기록을 자동으로 주석 처리한 후 검증 가능한 그라운딩 지도학습으로 변환했다. 전체 요약 7문장 읽기 → 075 21:11 ▲ 37 · 댓글 2 로봇 정책 학습의 미래 프레임 예측 성능 개선 World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. AI · 머신러닝 · Self-Distilling Future Video Representations for World Action Models
Key Point 미래 프레임 표현을 한 단계로 정확히 예측하는 기술이 로봇의 장기 작업 수행과 인간 시연 영상 학습 성능을 크게 높이기 때문에, 로봇 학습의 실용화를 앞당기는 중요한 진전이다.
핵심 요약
World Action Models(WAMs)는 사전학습된 비디오 확산 모델의 시공간 정보를 활용해 범용 로봇 정책을 학습하는 방식으로, 최근 버전들은 단일 디노이징 단계에서 추출한 중간 미래 비디오 표현으로 액션 디코더를 조건부로 동작시켜 반복 디노이징 비용을 줄인다. 이 설계에서 액션 예측이 미래 표현의 품질에 직접 영향을 받기 때문에, 노이즈로부터 단일 단계로 미래 표현 품질을 높이는 것이 중요하다. 논문은 FRED(Future REpresentation learning via self-Distillation with temporal context) 프레임워크를 제시한다. 전체 요약 9문장 읽기 → 076 18:11 ▲ 58 · 댓글 2 로봇이 자신의 학습 방식까지 개선하는 방법 재귀적 자기개선(RSI)은 시스템이 행동뿐 아니라 개선 과정 자체를 향상시키는 개념으로, 디지털 에이전트에서는 코드 재작성과 테스트로 구현되고 있다. AI · 머신러닝 · Toward Recursive Self-Improvement in Physical AI
Key Point 로봇이 단순히 작업을 더 잘하는 데 그치지 않고 학습하는 방식 자체를 개선하는 자기개선 시스템의 원리와 현실적 제약을 종합적으로 다루는 논문으로, 물리 AI의 다음 단계를 엿볼 수 있다.
핵심 요약
재귀적 자기개선(RSI)은 시스템이 행동뿐 아니라 개선 과정 자체를 향상시키는 개념으로, 디지털 에이전트에서는 코드 재작성과 테스트로 구현되고 있다. 물리적 세계의 로봇에 이를 적용하려면 비용이 큰 시행착오를 통해 불완전한 정보에서 학습하면서, 변화하는 환경과 돌이킬 수 없는 결과를 고려해야 한다. 논문은 로봇 학습 내에서 RSI의 위치를 정의하고, 로봇 능력 개선에서 그 과정 개선까지의 경로를 추적한다. 전체 요약 7문장 읽기 → 077 18:11 ▲ 37 · 댓글 3 자연언어로 세계 모델을 학습하는 LaLa-World JEPA 스타일의 잠재 세계 모델(LWM)이 비디오 생성 모델처럼 언어 인터페이스를 채택하면 서로 다른 도메인과 데이터 소스에서 학습할 수 있음을 보였다. AI · 머신러닝 · LaLa-World: Scaling Latent World Models with Natural Language Actions
Key Point 로봇과 시뮬레이션, 실제 비디오 데이터를 모두 활용하는 통합 세계 모델로 기존 분산 학습 대비 훨씬 효율적인 계획과 정책 학습이 가능해진다.
핵심 요약
JEPA 스타일의 잠재 세계 모델(LWM)이 비디오 생성 모델처럼 언어 인터페이스를 채택하면 서로 다른 도메인과 데이터 소스에서 학습할 수 있음을 보였다. LaLa-World는 시뮬레이션, 로봇 궤적, 이미지, 비디오 데이터를 함께 학습하는 언어 조건부 잠재 세계 모델이다. 수치형 액션과 시각적 변화를 모두 자연언어로 표현하여 이질적인 데이터셋에 대해 단일 미래 예측기를 학습할 수 있다. 전체 요약 8문장 읽기 → 078 03:11 ▲ 22 · 댓글 1 로봇 조작에 코드 기반 계획을 결합한 새로운 AI 모델 기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. AI · 머신러닝 · Agentic World Action Models
Key Point 로봇 조작 AI에서 시각 예측과 코드 기반 계획의 gap을 처음으로 메운 모델이며, 재사용 가능한 기술 라이브러리와 자동 학습 파이프라인을 제시해 실제 로봇 시스템의 확장성을 높일 수 있는 방법을 제안한다.
핵심 요약
기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다. 코드 기반 계획 로봇공학은 재사용 가능한 기술을 제공하지만 물리 역학의 예측 기반이 약해 현실과의 연결 고리가 약했다. 이를 해결하기 위해 AW-0이라는 에이전트형 세계 행동 모델을 제시했으며, 코드 기반 계획을 영상·행동 예측과 통합한다. 전체 요약 9문장 읽기 → 079 00:11 ▲ 28 · 댓글 1 로봇 자가학습 에이전트로 장기 조작 과제 정복 Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. AI · 머신러닝 · From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
Key Point 로봇이 여러 단계의 조작 작업에서 과거 경험을 학습하며 스스로 개선되는 기법이 실제로 성능을 높이는 방식과 수치를 제시했다.
핵심 요약
Vision-Language-Action(VLA) 모델은 시각 이해, 언어 조건, 행동 생성을 통합해 로봇 조작에 우수한 성능을 보이지만, 장기 과제에서는 과거 상호작용 결과와 작업 진행도를 기억해야 하는 비마르코프 의존성이 발생한다. 부분 관측 가능성과 실행 오류가 시간에 따라 누적되며, 기존 방식은 기초 모델에 메모리를 추가하거나 고수준 계획과 저수준 실행을 분리하는 계층적 구조로 이를 해결해왔다. 연구팀은 고수준 VLM을 수정 가능한 하네스(harness)를 통해 로봇 에이전트로 구성해 작업 맥락을 유지하고 실행 경험으로 계획을 개선하는 접근법을 제시했다. 전체 요약 6문장 읽기 → 080 15:11 ▲ 26 · 댓글 2 세 가지 능력을 하나로 담은 시각 인코더 ALPS 공개 World models의 시각적 기초로서 물리 상태 정보, 자연어 정렬, 픽셀 재구성을 모두 지원해야 한다는 주장에서 출발한 연구이다. AI · 머신러닝 · ALPS: Visual State Encoders for World Models
Key Point 월드 모델의 비전 백본이 예측, 제어, 검증을 모두 지원할 수 있는 통합 인코더를 처음 제시하여 로봇 학습 파이프라인의 설계 방식을 바꿀 수 있다.
핵심 요약
World models의 시각적 기초로서 물리 상태 정보, 자연어 정렬, 픽셀 재구성을 모두 지원해야 한다는 주장에서 출발한 연구이다. 기존 인코더는 이 세 가지 중 하나나 둘만 담당하는 반면, ALPS는 ViT-B/16 기반 프리트레인된 시각 상태 인코더로 세 능력을 모두 통합한다. 정지 이미지와 텍스트만 사용하여 언어, 재구성, 공간적 대응 목표로 처음부터 학습한 후 교차 뷰 자기 증류로 미세 조정했다. 전체 요약 7문장 읽기 → 081 15:11 ▲ 155 · 댓글 2 한 손 조작 넘어 양손 협력까지, 범용 로봇 제어 모델 DONIC 기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. AI · 머신러닝 · DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations
Key Point 로봇이 두 손을 동시에 협력시켜 복잡한 조작 작업을 할 수 있도록 하는 첫 범용 모델로, 인간의 시연 영상만으로 학습할 수 있다는 점이 실용적 의미를 갖는다.
핵심 요약
기존 손가락 섬세한 조작 모델들은 단일 손 조작과 제한된 상호작용만 다뤄 일상의 양손 협력 작업을 못 다뤘다. 연구팀은 첫 범용 양손 추적기 DONIC과 229개 물체를 포함한 1,575개 시퀀스의 양손 상호작용 데이터셋 BiHOI를 공개했다. DONIC은 근처정책최적화(PPO)와 행동복제를 결합하고, 성공한 실행을 재훈련 데이터로 재활용하는 피드백 루프를 사용한다. 전체 요약 6문장 읽기 → 082 15:11 ▲ 22 · 댓글 2 멀티모달 에이전트, 로봇 제어로 확장할 때 뭐가 달라지나 멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. AI · 머신러닝 · Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
Key Point 컴퓨터 조작 AI와 로봇 제어의 근본적 차이를 정의하고, 로봇 에이전트 개발 시 현재 벤치마크가 놓친 부분을 지적해 향후 평가 방식 개선의 방향을 제시한다.
핵심 요약
멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다. 멀티모달 임보디드 에이전트(MMEA)를 정의하면, 멀티모달 작업 추론을 물리 동작과 결합하고 그 결과 피드백으로 결정을 수정하는 목표 지향 시스템이다. 논문은 PAPAV라는 통합 프레임워크를 제시하며, 인식(Perceive)·예측(Anticipate)·계획(Plan)·행동(Act)·검증(Verify)의 5가지 반복 기능으로 세 시스템을 비교한다. 전체 요약 6문장 읽기 → 083 12:11 ▲ 42 · 댓글 2 로봇 플래너도 포스트트레이닝으로 강화된다 로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. AI · 머신러닝 · AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Key Point 작은 오픈소스 로봇 모델도 정교한 포스트트레이닝으로 폐쇄형 거대모델 수준의 성능을 낼 수 있다는 점이 로봇 개발자와 AI 연구자들에게 실질적인 의미를 갖는다.
핵심 요약
로봇을 제어하는 AI 플래너의 성능을 높이기 위해 '포스트트레이닝' 기법을 적용한 AgenticRoboRL 프레임워크를 개발했다. 기존 로봇 제어 시스템은 강력한 폐쇄형 모델(GPT 같은)에 의존했지만, 모델 자체를 개선하지는 않았다. 코딩 에이전트 분야에서 포스트트레이닝이 성공한 점에 착안해 로봇 플래너에도 같은 접근을 시도했다. 전체 요약 8문장 읽기 → 084 15:11 ▲ 141 · 댓글 2 인간·로봇 동작 예측 통합 모델 'Ropedia W0' 공개 세계 모델을 통해 구체화된 에이전트(로봇·인간)의 행동 결과를 예측할 수 있는데, 다양한 체형의 이동과 조작을 동시에 모델링하기는 어려웠다. AI · 머신러닝 · Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience
Key Point 인간의 움직임 데이터로 학습한 로봇 제어 모델이 현실에서 어떻게 작동할지를 보여주는 기초 연구로, 로봇 에이전트의 자율성 향상에 필요한 예측 능력의 스케일링 가능성을 제시한다.
핵심 요약
세계 모델을 통해 구체화된 에이전트(로봇·인간)의 행동 결과를 예측할 수 있는데, 다양한 체형의 이동과 조작을 동시에 모델링하기는 어려웠다. Ropedia W0은 인간과 로봇을 아우르는 첫 자아중심형 이동·조작 월드 파운데이션 모델로, 10,000시간의 인간 시점 영상과 3,000시간의 로봇 데이터(통합 멀티모달 주석 및 품질 관리 포함)로 구성된 Xp-Data를 수집했다. 이동은 카메라 포즈로, 조작은 투영된 골격으로 인코딩하는 통합 운동학 표현을 사용하며, 로봇 골격은 체형별 순기구학과 광범위한 수동 키포인트 주석·수정을 결합한다. 전체 요약 8문장 읽기 → 085 15:11 ▲ 60 · 댓글 2 로봇 AI의 행동 생성, 재활용으로 3배 빠르게 Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. AI · 머신러닝 · VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
Key Point 로봇 행동 생성 모델의 추론 속도를 대폭 개선하면서 정확도도 높이는 기법으로, 실시간 제어가 필요한 로봇 시스템의 실용성을 크게 향상시킬 수 있다.
핵심 요약
Vision-language-action (VLA) 모델은 가우시안 노이즈를 반복적으로 제거하며 행동 청크를 생성하지만, 일반적으로 짧은 접두사만 실행한 뒤 나머지 행동 꼬리(action tail)를 버리고 다시 생성한다. 연구팀은 버려진 행동 꼬리가 제거 과정의 진행 상황을 담고 있어 재활용 가능함을 발견했고, 10단계 가우시안 기준선과 동등하거나 더 나은 성능을 더 적은 제거 단계로 달성할 수 있음을 보였다. 최적 제거 예산(denoising budget)이 샘플마다 크게 달라지므로, 행동 꼬리 재활용은 업데이트된 환경에 맞게 적응해야 한다는 관찰에 따라 VLA-Rolling을 제안한다. 전체 요약 6문장 읽기 → 086 15:11 ▲ 48 · 댓글 2 3D 궤적으로 멀티뷰 영상 예측하는 VPM 모델 공개 Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. AI · 머신러닝 · Learning the 4D World through Point Trajectory Forecasting
Key Point 멀티뷰 영상에서 3D 구조 이해와 동작 제어를 동시에 달성하는 새로운 접근법으로, 로봇 비전과 4D 생성 분야에 실질적인 개선을 가져온다.
핵심 요약
Hugging Face와 arXiv 연구팀이 Video-Point Model(VPM)을 발표했다. 이는 다중 카메라 영상 히스토리와 언어 명령을 받아 미래 영상을 임의의 시점에서 생성하면서 동시에 3D 점의 궤적을 예측하는 월드 모델이다. 사전학습된 월드 모델을 확장해 카메라 조건부 멀티뷰 처리를 통해 여러 카메라의 보충적 정보를 통합하고, 물리적 점의 시간에 따른 움직임을 예측하는 궤적 헤드를 추가했다. 각 궤적은 모든 뷰에서 단일 점을 추적하며, 이를 영상 생성과 함께 감독함으로써 모든 카메라에서의 외관 변화를 3D 움직임의 공유된 설명으로 정렬한다. 전체 요약 6문장 읽기 → 087 00:11 ▲ 11 · 댓글 2 산업용 로봇 조작 평가 벤치마크 'LIBERO-Industry' 공개 LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 하드웨어 · 시스템 · LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints
Key Point 실제 제조 환경의 복잡한 제약을 반영한 평가 지표가 없어 범용 로봇 정책의 산업 적용 가능성을 정확히 측정할 수 없었는데, 이제 체계적인 벤치마크로 검증할 수 있게 됐다.
핵심 요약
LIBERO 벤치마크를 기반으로 제조업의 실제 제약 조건을 반영한 새로운 로봇 평가 프레임워크 LIBERO-Industry를 개발했다. 유연 제조(고혼합·소량 생산) 환경에서 로봇이 대응해야 하는 제품 변종, 이동 재료 흐름, 제한된 작업 시간, 기하학적 공차 같은 산업용 제약을 반영했다. 3가지 작업 시나리오(정적→동적 로딩, 동적→정적 언로딩, 동적→동적 전달)로 구성되며 총 216개 태스크를 포함한다. 전체 요약 7문장 읽기 → 088 21:11 ▲ 23 · 댓글 2 로봇 가치 모델 평가 벤치마크 RoboValue 공개 로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. AI · 머신러닝 · RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models
Key Point 로봇 가치 모델의 신뢰성을 체계적으로 평가하기 위한 첫 번째 통합 벤치마크로, 기존 평가 방식의 한계를 드러내고 정책 학습의 피드백 품질 개선 방향을 제시한다.
핵심 요약
로봇이 시각 정보와 명령어로부터 작업 실행을 평가하는 가치 모델(value model)이 정책 학습과 실행 모니터링에 피드백을 제공하지만, 기존 평가는 실행 이해의 일부 측면만 다루고 있어 신뢰성이 검증되지 않았다. 시뮬레이션과 실제 환경을 통합한 RoboValue 벤치마크는 네 가지 능력 차원을 평가한다: 작업-상태 이해, 시간 진행 모니터링, 실패 및 회복 추론, 가치 일관성. RoboValue-Dataset은 15개 시뮬레이션 및 20개 실제 로봇 조작 작업을 포함하며, 전문가 시연 데이터와 세밀한 평가용 주석 데이터를 제공한다. 전체 요약 6문장 읽기 → 089 21:11 ▲ 16 · 댓글 2 짧은 영상으로 장시간 예측하는 세계 모델 훈련법 스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. AI · 머신러닝 · Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
Key Point 짧은 영상만으로 학습한 생성 모델이 장기간 예측에서 표류하는 근본적 문제를 해결하는 새로운 훈련 방식으로, 비용 높은 교사 모델 없이도 안정적인 장시간 롤아웃을 만들 수 있다.
핵심 요약
스트리밍 비디오 세계 모델은 행동 조건에 따라 미래를 청크 단위로 생성하는데, 짧은 클립으로만 훈련되면 시간이 지날수록 예측 오차가 누적되어 표류한다. 기존 방식은 분포 일치 증류(DMD)로 모델 자신의 예측을 다시 훈련하지만, 외부 교사는 행동을 모르고 내부 교사도 같은 문제로 고통받는다. 프레셰 거리(Fréchet Distance)를 활용한 프레셰 포싱(Fréchet Forcing) 기법을 제안한다: 생성적 앵커링은 실제 데이터로 끝나는 자체 생성 이력에 플로우 매칭 손실을 적용하고, 문맥 충실도는 각 클립의 자유 롤아웃 통계와 실제 통계 간 거리를 계산해 장면 일관성을 유지하며, 현실성 일치는 고정된 지각 공간에서 생성 프레임과 실제 프레임 간 거리를 측정한다. 전체 요약 5문장 읽기 → 090 18:11 ▲ 17 · 댓글 2 LLM 에이전트의 물리적 자기개선, 어떻게 가능할까 LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. AI · 머신러닝 · Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
Key Point 로봇 조작 같은 물리적 환경에서 LLM 에이전트가 스스로 개선되는 원리를 정량 분석해, 대규모 언어 모델의 실제 강화학습 적용 가능성을 예측할 수 있는 기초를 제공한다.
핵심 요약
LLM 기반 로봇 에이전트의 물리적 자기개선(Physical RSI) 메커니즘을 체계적으로 분석한 연구다. PhysRSI-eval이라는 평가 지표를 도입해 5개 축(첫 시도 성능, 효율성, 성공률, 예산, 실패 후 개선)으로 물리적 RSI를 정량화했다. 18개 로봇 조작 작업에서 다양한 VLM(시각 언어 모델)을 같은 상호작용 예산 내에서 평가했으며, 공개 벤치마크 점수가 비슷해도 개선 양상은 크게 다를 수 있음을 확인했다. 전체 요약 7문장 읽기 → 091 15:11 ▲ 20 · 댓글 3 로봇 조작 학습, 인간 영상으로도 가능하게 로봇 조작을 배우는 데 인간 비디오가 필요한 이유는 로봇 행동 라벨이 있는 영상은 비용이 많고 다양성이 부족하기 때문이다. AI · 머신러닝 · AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
Key Point 로봇 학습 데이터의 수집 비용을 크게 낮추고 인간 영상을 직접 활용할 수 있는 방법이 제시되었기 때문에, 로봇 조작 분야에서 실용적인 전환점이 될 수 있다.
핵심 요약
로봇 조작을 배우는 데 인간 비디오가 필요한 이유는 로봇 행동 라벨이 있는 영상은 비용이 많고 다양성이 부족하기 때문이다. AffordanceWAM은 미래 프레임을 예측하면서 동시에 객체별 상호작용 가능 영역(Scalar Affordance, Affordance Heatmap)을 표현하는 생성 모델이다. 비디오 디퓨전 트랜스포머를 기반으로 World Expert와 Action Expert를 따로 설계하고 Masked Joint Self-Attention으로 연결하여 RGB 관찰, 어포던스 필드, 히트맵, 로봇 액션을 함께 예측한다. 전체 요약 7문장 읽기 → 092 15:11 ▲ 161 · 댓글 2 1인칭 영상에서 손·물체·공간을 동시에 복원하는 모델 공개 1인칭 시점 영상에서 카메라 움직임, 주변 기하학, 손-물체 상호작용을 일관성 있게 복원하려면 개별 3D 요소들이 함께 정렬되어야 하는데, 기존 방법과 데이터셋은 이를 충분히 지원하지 못하고 있다. AI · 머신러닝 · EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
Key Point 손과 물체, 카메라와 장면을 동시에 일관성 있게 복원하는 것은 1인칭 AR, 로봇 조작, 활동 인식 등 여러 분야의 핵심 과제인데, 이 논문이 기존보다 훨씬 큰 규모의 정렬된 데이터셋과 상당히 개선된 모델을 공개했기 때문이다.
핵심 요약
1인칭 시점 영상에서 카메라 움직임, 주변 기하학, 손-물체 상호작용을 일관성 있게 복원하려면 개별 3D 요소들이 함께 정렬되어야 하는데, 기존 방법과 데이터셋은 이를 충분히 지원하지 못하고 있다. EgoXperience는 데이터 수집, 자동 주석, 통합 모델링, 벤치마킹을 통해 이 문제를 해결하는 전체 스택 패러다임을 제시한다. 핵심 도구인 EgoX-Engine은 기하학적으로 검증된 물체 추적과 SLAM 기반 월드 정렬을 결합하여 카메라, 장면, 손, 물체에 대한 일관성 있는 감독 신호를 생성한다. 전체 요약 6문장 읽기 → 093 15:11 ▲ 111 · 댓글 2 로봇 집단의 경험을 공유해 정책 학습 향상 로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. AI · 머신러닝 · Learning from Fleet Experience: A Collective Learning Paradigm for Robots
Key Point 로봇 집단 학습이 전문가 개입 없이 배치된 환경에서 정책을 개선하는 실질적 방법을 제시하며, 규모가 커질수록 성능이 향상되는 스케일러빌리티를 보여준다.
핵심 요약
로봇이 배치된 상황에서 생성되는 실행 경험을 학습하면 정책 안정성을 높일 수 있으나, 인간이 모니터링해야 하는 비용이 커진다. 연구팀은 집단 경험 학습(CEL) 패러다임을 제안했으며, 배치된 로봇들이 실행 경험을 공유해 공통 정책을 개선한다. 실패 안내 경험 검색 미세조정(FERT)이라는 구체적 방식으로, 로봇 실행 중 발생한 실패 상황을 바탕으로 집단의 성공 경험에서 관련 궤적을 검색해 그 행동을 감독 신호로 정책을 업데이트한다. 전체 요약 8문장 읽기 → 094 15:11 ▲ 84 · 댓글 2 언어 명령에 따라 장면을 탐색하는 로봇, 인터넷 영상으로 학습시키다 언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. AI · 머신러닝 · ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
Key Point 시뮬레이션 데이터의 현실성 문제를 극복하면서도 현실 데이터 수집 비용을 줄이는 새로운 접근법으로, 로봇 네비게이션의 실용성을 높일 수 있는 기술이기 때문이다.
핵심 요약
언어로 지정된 목표 위치까지 로봇이 자율 네비게이션하는 작업을 다루는 ScaleNav 프레임워크를 제안했다. 기존 방식은 로봇 실제 데이터 수집이 비싸고 시뮬레이션 데이터는 현실 적응 격차(sim-to-real gap)가 있는 문제가 있었다. ScaleNav는 인터넷의 1인칭 관점 영상에서 학습하여 카메라가 목표에 접근할 때 시각 정보가 어떻게 변하는지 파악한다. 전체 요약 6문장 읽기 → 095 00:11 ▲ 103 · 댓글 32 로봇 학습, 데이터 대량 수집 시대 열리다 AI 발전의 핵심은 대규모 데이터 학습이며, 이제 로봇 분야도 같은 원리를 따르고 있다. AI · 머신러닝 · How to Train Your Robot
Key Point 로봇 AI가 대규모 데이터 학습 시대로 접어드는 가운데, 어디서 그 데이터를 구할 것인가가 로봇 공학의 핵심 병목이 되고 있기 때문이다.
핵심 요약
AI 발전의 핵심은 대규모 데이터 학습이며, 이제 로봇 분야도 같은 원리를 따르고 있다. LLM 학습에 사용된 기존 텍스트 데이터와 달리, 로봇용 훈련 데이터는 새롭게 수집해야 하는 상황이다. 원격 조종(텔레오퍼레이션)은 데이터 질이 높지만 비용이 많이 들고 확장이 어렵다는 문제가 있다. 전체 요약 12문장 읽기 → 096 15:11 ▲ 286 · 댓글 3 VLM이 로봇을 직접 코딩하다, HexaShell의 도전과 한계 비전 언어 모델(VLM) 기반 에이전트가 로봇 조종에서 학습된 정책과 경쟁할 수 있는 수준에 도달했으며, 연구팀은 코딩 에이전트가 로봇을 제어할 때 어디까지 갈 수 있는지 검증하는 HexaShell 시스템을 개발했다. AI · 머신러닝 · HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
Key Point 로봇 조종을 위한 VLM 에이전트가 시각 기반 자율 학습으로 최고 성능을 달성했으나, 정밀한 접촉 제어에서 근본적인 한계를 드러내며 향후 로봇 AI 개발의 방향을 제시한다.
핵심 요약
비전 언어 모델(VLM) 기반 에이전트가 로봇 조종에서 학습된 정책과 경쟁할 수 있는 수준에 도달했으며, 연구팀은 코딩 에이전트가 로봇을 제어할 때 어디까지 갈 수 있는지 검증하는 HexaShell 시스템을 개발했다. HexaShell은 최소한의 인터페이스를 유지하며 에이전트의 명령을 로봇 동작으로만 변환하고, 양팔 로봇을 단일 명령줄로 구동하며 RGB 카메라 3개와 카메라 캘리브레이션 정보를 제공한다. 실패 후 에이전트는 로그를 읽고 원인을 파악한 뒤 작은 프로그램(도구)을 작성하거나 수정하며, 이렇게 학습한 내용을 코드로 유지한다. 전체 요약 10문장 읽기 → 097 15:11 ▲ 43 · 댓글 3 로봇 행동 예측 AI, 시각 정보 처리 30배 효율화 기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. AI · 머신러닝 · BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
Key Point 로봇 행동 모델의 계산 효율을 대폭 개선하면서 성능은 유지하는 기술로, 로봇 제어 AI의 실시간성과 비용 효율성을 높이는 방향을 제시한다.
핵심 요약
기존 World Action Model(WAM)은 비디오와 행동 전문가를 밀집한 Mixture-of-Transformers 주의 메커니즘으로 결합해 관련 없는 시각 정보 노출과 중복 계산 문제를 야기했다. BridgeWAM은 시각·언어·고유감각 정보를 32개의 Latent Bridge Queries(LBQs)를 통해 제한된 공유 잠재 공간으로 집약하는 Bridge-of-Experts 구조를 도입했다. 행동 예측 그래디언트가 비디오 전문가를 행동 예측에 적합한 표현으로 유도하고, 행동 전문가는 교차 주의를 통해 작업 관련 정보를 선택적으로 검색한다. 전체 요약 7문장 읽기 → 098 12:11 ▲ 287 · 댓글 2 GPT-6-Astra, 로봇 지능의 한계 진단 GPT-6-Astra를 로봇 조작·항법 작업에 평가한 결과, 12개 벤치마크(탁상형 조작, 휴머노이드, 이동 로봇, 손가락 제어)에서 학습 데모로부터의 맥락 학습(ICL)을 활용해 전례 없는 성능을 달성했다. AI · 머신러닝 · Has GPT-6-Astra Achieved Embodied Intelligence?
Key Point 로봇 지능이 실험실 성과와 현장 적용 사이의 격차를 드러내므로, 다음 세대 로봇 AI 개발 방향을 예측하는 데 필요하다.
핵심 요약
GPT-6-Astra를 로봇 조작·항법 작업에 평가한 결과, 12개 벤치마크(탁상형 조작, 휴머노이드, 이동 로봇, 손가락 제어)에서 학습 데모로부터의 맥락 학습(ICL)을 활용해 전례 없는 성능을 달성했다. 향후 개선 방향으로 ICL의 일반화, 비용·실행 시간 단축, 물리 상태 검증, 불가역적 실패 복구, 장기 작업 진행 상황 유지 등 5가지를 제시했다. 고수준 추론기(GPT-6-Astra)와 저수준 제어기(π0.5) 간 폐루프 조율이 비용이 높지만 효과적임을 확인했다. 전체 요약 6문장 읽기 → 099 03:11 ▲ 130 · 댓글 10 마이크로 단위 3D 정밀 제어, 오픈소스로 누구나 만든다 오픈소스 마이크로 매니퓰레이터 프로젝트는 저가의 3축 XYZ 모션 제어 플랫폼으로 50nm 단위 정밀도를 달성하며 광학 정렬, 전자 부품 검사, 현미경 응용에 사용된다. 하드웨어 · 시스템 · Open MicroManipulator – A sub-micrometer 3D motion control plattform
Key Point 저비용으로 마이크로미터 단위 정밀도를 필요로 하는 광학, 전자공학, 미세 조작 작업을 독립적으로 구축할 수 있는 완전 오픈소스 솔루션이며, 세부 설계, 펌웨어, 제어 소프트웨어가 모두 공개되어 커스터마이징과 학습에 활용할 수 있다.
핵심 요약
오픈소스 마이크로 매니퓰레이터 프로젝트는 저가의 3축 XYZ 모션 제어 플랫폼으로 50nm 단위 정밀도를 달성하며 광학 정렬, 전자 부품 검사, 현미경 응용에 사용된다. 평행 운동학 구조와 미니어처 볼 조인트로 기계적 강성을 확보하고, 30kHz 폐루프 제어 스테핑 모터와 자성 기어링을 통해 저가 로터리 인코더 해상도를 30배 향상시킨다. USB 시리얼 인터페이스로 G-Code 명령을 지원하며 모션 플래닝 스택과 선형보간으로 부드럽고 정확한 경로 추종을 구현한다. 전체 요약 12문장 읽기 → 100 03:11 ▲ 116 · 댓글 103 웹사이트들 AI 에이전트 차단에 나서다 OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. AI · 머신러닝 · Websites are closing their doors to AI agents
Key Point AI 에이전트의 대대적 도입을 추진하는 거대 기업들과 이를 막으려는 웹서비스 간의 충돌이 심화되면서, 에이전트가 실제로 약속한 '무엇이든 할 수 있는' 역할을 하지 못할 가능성이 현실화되고 있다.
핵심 요약
OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. 하지만 Yelp, Delta Air Lines, JPMorgan Chase, Charles Schwab 등 주요 웹서비스들은 최근 AI 에이전트의 접근을 차단하기 시작했고, 이전에 정상 작동하던 Cars.com, Amtrak 같은 사이트도 조용히 차단하고 있는 것으로 보인다. Yelp는 데이터 라이선싱 프로그램 가입 기업만 AI 에이전트 접근을 허락하고, Delta는 사용자 대신 항공권 예매하는 것을 금지했으며, JPMorgan Chase와 Charles Schwab은 보안 우려를 이유로 계정 접근을 차단하고 있다. 전체 요약 10문장 읽기 →