사용자 명령을 따르는 자유형 비디오 세계 모델 'Hy-Nomas' 공개
원제 Hy-Nomas: Towards Free-form Interactive World Generation
추천 126댓글 2
Key Point
대화형 AI 환경에서 사용자 명령을 정확히 따르면서도 과거 맥락을 유지하는 능력은 게임, 시뮬레이션, 메타버스 등 차세대 인터랙티브 콘텐츠 개발의 핵심 과제이며, 이 논문의 기술적 접근이 실제 적용에 어떻게 영향을 미칠지 주목할 필요가 있다.
핵심 요약
- Hy-Nomas는 연속적인 사용자 명령을 따르면서 이전 상호작용 기록과 결과를 유지하는 대화형 세계 생성 모델이다.
- 80억 파라미터 규모의 확산 모델을 기반으로 자유형 텍스트 지시와 멀티턴 카메라 제어를 지원한다.
- 구조화된 비디오 자막과 행동 인식 인과 주의 메커니즘을 결합해 설명 맥락은 여러 세그먼트에서 접근 가능하면서 행동 명령은 해당 시간 윈도우로만 제한된다.
- 비전-언어 프롬프트 향상 모듈이 사용자 요청과 멀티모달 상호작용 이력을 다음 세그먼트의 조건으로 변환한다.
- 다단계 커리큘럼 학습으로 인과 생성, 텍스트 상호작용, 카메라 제어, 모델 생성 데이터 학습을 단계적으로 도입하고 확산 증류로 마무리한다.
- 인간 평가에서 기존 세계 모델들보다 우수한 성능을 보였으며, 연구 재현을 위해 모델 가중치, 코드, 벤치마크, 경량 적응 워크플로우를 공개했다.