구글 DeepMind, 음성·대사까지 생성하는 세계 시뮬레이션 모델 'Genie 4' 공개

핵심 요약

• DeepMind가 세계 시뮬레이션 모델 'Genie 4'를 발표했으며, 음악·주변음·대화까지 실시간으로 함께 생성하는 네이티브 멀티모달 모델이다.
• Gemini Omni를 활용해 사실적인 외관과 동작을 앵커링하고, 다른 Gemini 모델들이 복잡한 추론으로 시뮬레이션 일관성을 유지한다.
• 사용자가 자연어로 실시간 날씨 변경·카메라 이동·객체 추가 같은 지시를 내리면 Gemini가 맥락에 맞게 적응시키며, 사용자 입력 사이에도 장면이 일관성 있게 진행된다.
• 공기역학·충돌 같은 물리 시뮬레이션과 자연스러운 인물 움직임·환경 반응·실시간 조종이 가능한 수준의 리얼리즘을 구현했다.
• 오디오 생성에서 Genie 4는 바람·파도음부터 인터랙티브 대사까지 실시간으로 만들며, 캐릭터가 사용자 입력이나 세계의 사건에 반응한다.
• Gemini 3.8 Flash가 보조 에이전트로 작동하면서 장면을 관찰·목표를 단계별로 분해·프레임을 추적해 각 단계 성공을 검증하고, 상황 변화에 맞춰 계획을 실시간 조정한다.
• 영화 제작·저널리즘·교육·게임·로봇공학 등 다양한 업계의 신뢰할 수 있는 테스터들과 협력했으며, 영화 스토리보드·역사적 환경 시뮬레이션·게임 프로토타입 신속 제작에 활용되고 있다.
• 현재 조기 접근 파트너(Google AI Ultra 구독자, Gemini API·Google AI Studio 조기 접근자)를 대상으로 리서치 프리뷰를 배포 중이며, 앞으로 더 광범위하게 출시할 예정이다.
• 모든 생성 영상·음성에 SynthID 디지털 워터마크를 적용하는 등 안전 장치를 포함했으며, 신뢰할 수 있는 테스터에게 먼저 배포해 조기 피드백을 수집하고 있다.
• 짧은 세션 내에서는 일관된 환경을 유지하지만 시간이 지나거나 복잡한 프롬프트 편집·넓은 범위의 네비게이션 이후에는 시각적 세부 정보와 객체 영속성이 변동할 수 있다는 한계가 있다.
• 복잡한 물리 상호작용·실시간 오디오 정확도·텍스트 렌더링·공간 정확도·장기 일관성은 현재 진행 중인 연구 영역이다.
• 향후 코드·언어 모델의 논리적 추론과 픽셀 수준 시뮬레이션의 감각적 표현을 결합한 하이브리드 세계 모델로 더 일관성 있고 제어 가능한 모델을 개발할 계획이다.