로봇 조작에 코드 기반 계획을 결합한 새로운 AI 모델

핵심 요약

• 기존 세계 행동 모델(WAM)은 로봇 조작을 위한 시각적 예측은 제공하지만 기술을 재사용할 수 있는 명시적 메커니즘이 부족했다.
• 코드 기반 계획 로봇공학은 재사용 가능한 기술을 제공하지만 물리 역학의 예측 기반이 약해 현실과의 연결 고리가 약했다.
• 이를 해결하기 위해 AW-0이라는 에이전트형 세계 행동 모델을 제시했으며, 코드 기반 계획을 영상·행동 예측과 통합한다.
• 혼합 트랜스포머 아키텍처 내에서 코드, 미래 영상, 로봇 행동을 세 개의 연결된 생성 스트림으로 모델링한다.
• 코드 전문가는 매개변수화된 기술 루틴과 제어 로직을 생성하고, 영상·행동 전문가는 미래의 시각적 상태와 저수준 모터 명령을 생성한다.
• 코드는 두 가지 역할을 한다: 세계 모델 내에서 다단계 예측과 제어를 구조화하며, 이후 에이전트 실행을 위한 재사용 가능한 프로그램으로 기술을 표현한다.
• 로봇과 인간 영상 궤적에 정렬된 프로그램을 레이블링하고 반복되는 루틴을 재사용 가능한 기술 라이브러리로 통합하는 자동화된 큐레이션 파이프라인을 추가로 도입했다.
• RoboTwin 2.0과 실제 양팔 조작 작업에 대한 평가 결과 VLA 및 WAM 기준선 대비 작업 성능이 향상되었으며, 언어 따라하기·의미론적 추론·견고성에서도 이득을 얻었다.
• 에이전트형 코드가 세계 행동 모델 내에서 계획·예측·실행을 연결할 수 있음을 보여주었다.