002▲ 17 · 댓글 0로봇 조작을 위한 통합 세계 행동 모델 InternW0-Δ 공개로봇 조작 태스크를 위해 시각 동역학과 행동 생성을 함께 모델링하는 World Action Models(WAMs)를 개발했으며, 대규모 사전학습 모델의 지식을 통합하는 것이 핵심 과제다.
AI · 머신러닝 · InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
로봇 조작을 위한 통합 세계 행동 모델 InternW0-Δ 공개
Key Point
로봇 조작 분야에서 대규모 오픈 데이터와 통합 프레임워크를 통해 실용적인 성능을 달성한 방법론이 공개되는 만큼, 로봇 학습과 시뮬-투-리얼 연구에 직접 활용할 수 있는 자료다.
핵심 요약
로봇 조작 태스크를 위해 시각 동역학과 행동 생성을 함께 모델링하는 World Action Models(WAMs)를 개발했으며, 대규모 사전학습 모델의 지식을 통합하는 것이 핵심 과제다.
InternW0-Δ는 Mixture-of-Transformers 프레임워크로 설계되었고, 사전학습된 비디오 전문가와 행동 전문가가 고정된 VLM의 의미 지도 아래에서 상호작용한다.
사전학습된 4D 파운데이션 모델이 기하학적, 모션 사전 정보를 훈련 전용 증류로 주입하며, Causal Imprint 방식은 미래 감독 신호에서 미래 관련 장면 변화를 학습한다.
