생성 영상의 물리 법칙 위반 평가하는 PhyProbe

핵심 요약

• 생성 영상이 물리 법칙을 얼마나 잘 따르는지 평가하는 문제를 해결하기 위해 PhyProbe를 제안했다.
• 기존 방식은 비전-언어 모델로 물리 역학을 제대로 인식하지 못하거나, 사람 주석으로 학습한 평가기가 특정 데이터셋에 과적합되어 일반화되지 않는 문제가 있었다.
• PhyProbe는 사전 학습된 시공간 인코더에서 특징을 추출한 뒤 가벼운 점수 헤드로 0~1 범위의 물리 일관성 위반 점수로 매핑한다.
• 페어와이즈 랭킹, 노이즈 있는 스칼라 주석 회귀, 앵커 기반 보정을 결합한 통합 목적함수로 학습되며, 다양한 감독 소스(실제-생성, 생성-생성 쌍)로 훈련된다.
• 실제와 생성 영상 쌍 및 생성 영상끼리의 페어와이즈 벤치마크에서 기존 방법을 능가했으며, 기존 미세조정 평가기가 성능 저하를 보이는 대응 정보 없음 및 생성-생성 설정에서 특히 큰 개선을 달성했다.
• 인간 판단과의 상관관계가 높고 순위 기반 지표와 선형 지표 간 일치도 잘 맞아, 점수가 잘 정렬되고 안정적인 0~1 스케일로 앵커되어 있음을 보여준다.
• 물리 일관성 신호만으로 학습했음에도 일반 선호도 벤치마크에서도 경쟁력 있는 성능을 달성했으며, 이는 물리 법칙 위반이 더 광범위한 영상 품질 저하와 얽혀 있음을 시사한다.