영상 생성 AI, 동작 반복할 때 장면이 휜다
원제 StrideWorld: Benchmarking Scene Rigidity and Action Consistency in Interactive Video World Model
추천 15댓글 2
Key Point
영상 생성 AI 모델이 사용자 명령에 따라 장면을 탐색할 때 기하학적 오류를 얼마나 보이는지 측정할 수 있는 첫 고정형 벤치마크로, 개발자들이 더 견고한 월드 모델을 만드는 데 필요한 기준을 제시한다.
핵심 요약
- 인터랙티브 비디오 월드 모델은 사용자 명령을 받아 3D 장면을 생성하는데, 카메라 이동 시 장면의 기하학적 구조가 유지되고 각 동작의 효과가 일관되어야 한다.
- 기존 벤치마크는 테스트 비디오 자체에서 복원한 장면이나 명령 경로에 맞춰 스케일을 자유롭게 조정한 카메라 궤적을 기준으로 평가하기 때문에, 장면의 점진적 변형이나 속도·경로 길이 변화 같은 오류를 감지하지 못한다.
- StrideWorld 벤치마크는 평가 기준을 동작 전에 고정시켜 이 문제를 해결한다.
- 장면 강성(rigidity)은 시작 화면의 실제 기하학을 기준으로, 동작 일관성은 각 명령의 카메라 이동 거리인 stride를 기준으로 측정한다.
- Stride는 모델의 초반 단계에서 측정한 후 이후 단계를 검증하므로, 각 모델은 자신의 단계에만 대비된다.
- 렌더링 영상의 알려진 카메라 이동으로 측정값을 검증했으며, 점수가 인간의 판단과 일치한다.
- 140개 시작 화면에서 생성한 오픈 모델 영상들을 평가한 결과, 1개 모델을 제외한 모든 모델이 카메라 이동 시 장면을 변형시켰으며, 오프셋이 동일 경로를 따르는 경직된 렌더링보다 최대 7.3배 컸다.
- 대부분의 모델은 단일 동작을 유지할 때 일정한 속도를 유지하지만, 연속된 경로에서는 여러 모델이 자주 멈추고, 대부분의 완료된 경로가 모델 자신의 stride로 예측한 위치에서 벗어난다.
- 장면 깊이로 명령을 스케일링하는 두 모델만이 대부분의 경로를 예측 위치 근처에 유지한다.
- 렌더링 클립 몇 개로 두 모델을 미세 조정하면 경로 중간의 멈춤 현상이 대부분 사라진다.
- 코드, 데이터, 리더보드가 공개되어 있다.