텍스트-비디오 생성 모델의 물리법칙 이해도를 측정하는 평가 프레임워크 등장
원제 PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation
추천 11댓글 5
Key Point
텍스트-비디오 생성 모델의 물리법칙 준수 여부를 객관적이고 진단적으로 평가할 수 있는 표준화된 방법론이 제시되어, 향후 이 분야 벤치마킹과 개선의 기준점이 될 것으로 예상된다.
핵심 요약
- 텍스트-비디오(T2V) 생성 모델이 세계 시뮬레이터로 자리잡으면서 물리 상식 준수 여부 평가가 필수적이 되었다.
- 기존 벤치마크는 평가자의 직관에 의존한 단일 점수 방식으로, 주관적이며 어느 물리 원리 위반인지 파악할 수 없다.
- PhyRubric은 텍스트-비디오 생성의 물리 상식을 진단하는 루브릭 기반 평가 프레임워크다.
- 각 캡션에 대해 비디오 생성 전에 캡션별 루브릭을 먼저 구성하고, 캡션을 의미 항목과 물리 항목으로 분해한다.
- 항목별 판정을 타임스탬프 증거로 뒷받침하여 점수를 도출한다.
- PhyRubric-Bench는 5개 물리 영역의 34개 카테고리를 포괄하며, PhyRubric-Train은 3,788개 비디오로 규모를 확대했다.
- 오픈소스 PhyRubric-Judge를 PhyRubric-Train 데이터셋으로 파인튜닝했다.
- 10개 T2V 모델 평가 결과 물리 상식은 아직 멀고, PhyRubric-Judge는 기존 오픈소스 평가자보다 인간 판정과 높은 상관을 보이며 상용 모델인 Gemini 4 Argon 수준이다.