로봇 조작을 위한 통합 세계 행동 모델 InternW0-Δ 공개
원제 InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
추천 17댓글 0
Key Point
로봇 조작 분야에서 대규모 오픈 데이터와 통합 프레임워크를 통해 실용적인 성능을 달성한 방법론이 공개되는 만큼, 로봇 학습과 시뮬-투-리얼 연구에 직접 활용할 수 있는 자료다.
핵심 요약
- 로봇 조작 태스크를 위해 시각 동역학과 행동 생성을 함께 모델링하는 World Action Models(WAMs)를 개발했으며, 대규모 사전학습 모델의 지식을 통합하는 것이 핵심 과제다.
- InternW0-Δ는 Mixture-of-Transformers 프레임워크로 설계되었고, 사전학습된 비디오 전문가와 행동 전문가가 고정된 VLM의 의미 지도 아래에서 상호작용한다.
- 사전학습된 4D 파운데이션 모델이 기하학적, 모션 사전 정보를 훈련 전용 증류로 주입하며, Causal Imprint 방식은 미래 감독 신호에서 미래 관련 장면 변화를 학습한다.
- 로봇 데모, UMI 데이터, 일인칭 인간 데모, Ego2Robot 데이터를 통합한 이질 코퍼스를 구성했으며, 공통 상태-행동 표현으로 정렬했다.
- 처리된 훈련 데이터가 20,000시간 이상으로 이는 알려진 범위 내에서 가장 큰 오픈소스 코퍼스다.
- 시뮬레이션 벤치마크와 실제 로봇 플랫폼에서 강한 성능을 입증했으며, 훈련 코드, 모델 가중치, 인프라, 데이터 처리 파이프라인, 처리 데이터를 라이선스가 허용하는 범위에서 공개할 계획이다.