Hugging Face 논문AI · 머신러닝

MLLM으로 만든 대화형 세계 모델, 단일 이미지에서 편집 가능한 3D 환경 생성

원제 WM^MLLM: Turning MLLMs into World Models

추천 15댓글 2Baiang Li, Enze Xie, Jincheng Yu 외
Key Point

3D 생성형 AI에서 "세계 상태 관리" 문제를 근본적으로 해결한 접근법으로, 사용자 편집의 일관성과 편집 가능한 3D 환경 생성의 현실화 가능성을 보여준다.

핵심 요약

  • 기존 비디오 월드모델은 생성기 내부에만 세계 상태를 유지해 재방문 시 편집 내용이 손실되는 문제가 있다.
  • WM^MLLM은 MLLM 기반의 첫 대화형 월드모델로, 단일 이미지에서 출발해 파노라마 형태의 세계 상태를 외부에 저장하고 수정 이력을 관리한다.
  • MLLM이 사용자 요청을 세계 상태 변경 작업으로 변환하고, 로컬 편집 위치를 선택한 뒤, 후보 이미지를 검증한 후에만 다음 상태로 반영한다.
  • 사용자는 새로운 위치로 이동하거나 복귀할 수 있으며, 텍스트 또는 박스로 객체를 편집하고, 조명·날씨·계절을 변경할 수 있다.
  • 같은 수정 지점으로 재방문하면 이전 뷰를 정확히 재현하고, 로컬 편집은 해당 영역 외 파노라마 픽셀을 변경하지 않으며, 각 요청은 이전 결과에서 시작된다.
  • MBench-A 6개 월드모델 베이스라인 대비 환경 복구 메트릭 4개 모두에서 최고 점수(Epipolar 91.5 대 0.1~74.0)를 기록했다.
  • 카메라 왕복 완성도는 85.3%로 최대 50.9%인 베이스라인을 크게 앞섰고, CompBench 15개 항목 모두에서 15개 베이스라인을 능가했다.
  • 112개 로컬 편집 평가에서 생성 후 쓰기 영역을 선택하는 방식이 완성도를 34.8%에서 83.0%로 올렸다.
  • 258개 WBench와 MBench-A 항목 모두에서 46번의 재방문이 이전 뷰를 정확히 복구했고, 검증을 통과한 97개 로컬 편집 모두 영역 외 파노라마 픽셀을 유지했다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗