4D 동적 장면을 코드로 복원하는 벤치마크 공개
Key Point
동영상으로부터 물리 시뮬레이션을 포함한 동적 장면 복원은 AI의 현재 한계를 드러내는 영역으로, 4D 이해와 코드 생성 능력의 발전을 측정하는 표준화된 벤치마크가 처음 제시되었다.
핵심 요약
- 4DCodeBench는 동영상에서 동적 장면을 재구성하는 AI 에이전트를 평가하는 벤치마크로, 에이전트가 시각 정보를 실행 가능한 그래픽 프로그램으로 변환해야 한다.
- 에이전트는 복잡한 행동을 재현하기 위해 물리 시뮬레이션 같은 추상화를 구현해 장면 구조와 동역학의 콤팩트한 표현을 생성해야 한다.
- 벤치마크는 실제 동영상과 변형, 유체 흐름, 파괴 등 다양한 물리 현상을 포함하는 합성 장면으로 구성된다.