4D 생성 영상의 기하학적 일관성을 높이는 GeoFix 논문 공개

핵심 요약

• 비디오 확산 모델을 4D 생성의 기초로 사용할 때 생성된 영상이 기하학적 일관성을 잘 유지하지 못하는 문제가 있다.
• 기존 방법은 기하학적 보상을 설계해 사후 학습하지만 텍스처와 세부 디테일이 저하되어 추가 외형 보상과 신중한 보상 조정이 필요했다.
• GeoFix는 단일 기하학적 보상으로 기하학적 일관성과 시각적 품질을 동시에 개선하는 통합 프레임워크로, 학습 및 추론 시간 모두에 적용 가능하다.
• 이 보상은 정적 장면 영역의 교차 시점 깊이 일관성을 측정해 구조적 불일치를 타겟하되, 외형이나 정당한 물체 움직임을 직접 제약하지 않는다.
• 카메라 시야각 겹침이 커지면 실제 영상과 4D 데이터셋에서도 깊이 일치도가 증가하는데, 이로 인해 작은 카메라 움직임이 더 좋은 기하학으로 오인될 수 있다.
• GeoFix는 겹침 정도에 따른 경향성에 맞춰 보상을 보정해 이 영향을 반영한다.
• 실험 결과 WorldScore 3D 일관성에서 39% 개선, VBench 품질 점수에서 4% 증가를 달성했다.