비디오가 물리 법칙을 얼마나 잘 이해하나 측정하는 벤치마크

핵심 요약

• 물리 현상을 정확히 표현하는 비디오 생성 모델을 평가하기 위해 World Embedding Benchmark를 공개했다.
• 유체역학, 고체역학, 동역학, 광학·전자기학 등 80개 종류에서 8,000개의 시뮬레이션 영상을 수집하고, 각 영상에 시뮬레이션 기반의 물리 주석을 달았다.
• 텍스트-영상 검색, 물리적 성질 회귀, 다중선택 분류라는 세 가지 평가 작업으로 영상 임베딩이 물리 정보를 얼마나 잘 인코딩하는지 측정한다.
• 기존 멀티모달 임베딩 모델들은 검색 성능이 약하고 분류 정확도가 거의 무작위 수준인 반면, 가벼운 프로브를 사용하면 고정된 영상 임베딩에서 유용한 물리 정보를 추출할 수 있다.
• 물리 정보 특화 영상-텍스트 쌍으로 지속적 대조 학습을 하면 검색과 분류는 개선되지만 정량적 물리 성질 회귀는 악화되는 트레이드오프가 발생한다.
• 검색 결과 영상을 생성 모델의 참고자료로 활용하는 검색 기반 생성 기법으로 MiniMax-H3 영상을 생성할 때 더 강한 검색 모델이 물리적 충실도를 더 크게 향상시킨다.
• 물리 정렬과 정량적 정보 회복성을 함께 평가해야 하며, 물리 표현이 영상 생성 품질을 개선하는 데 실질적 가치가 있다.