다중 에이전트 1인칭 시점 세계 모델, 미세한 상호작용 구현
원제 Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
추천 52댓글 2
Key Point
실제 로봇이나 현실의 멀티에이전트 환경 시뮬레이션에서 미세한 상호작용(팔 움직임, 물체 조작 등)까지 정확히 모델링해야 하는 연구자와 엔지니어에게 필요한 기술적 진전이다.
핵심 요약
- 1인칭 시점 세계 모델은 에이전트의 행동에 따른 관찰을 예측하지만, 기존 연구는 단일 에이전트에 집중했다.
- 현실의 구체화된 환경에서는 여러 에이전트가 공유된 환경에서 미세한 동작을 통해 상호작용하는데, 이는 대부분의 기존 멀티에이전트 세계 모델에서 충분히 다뤄지지 않았다.
- 연구팀은 멀티에이전트 이고센트릭 세계 모델링을 여러 에이전트의 동기화된 1인칭 스트림 생성으로 정식화했고, 이는 교차 시점 행동 일관성, 공유 환경 일관성, 상호작용으로 인한 상태 업데이트 전파를 요구한다.
- ME-World는 공유 토큰 시퀀스에서 여러 1인칭 스트림을 동시에 디노이징하고, 각 스트림을 모든 에이전트의 목표 시점에 따라 조건화하며, 공유 환경 메모리로 생성을 기반한다.
- 연구팀은 실제와 합성 멀티에이전트 데이터로 훈련 및 평가했으며, 환경·업데이트·신원 일관성을 측정하는 공유 세계 일관성 메트릭을 제안했다.
- 실험 결과 ME-World는 기존 방법 대비 공유 세계 일관성, 행동 제어, 신원 보존, 영상 품질을 개선했다.