스트리밍 영상 생성 모델 평가 벤치마크 StreamEval 공개
원제 StreamEval: Evaluating Interactive Streaming Video Generation Models
추천 441댓글 2
Key Point
실시간 영상 생성 모델이 사용자의 요청을 얼마나 정확히 반영하는지 체계적으로 평가할 수 있는 첫 통합 벤치마크로, 현재 모델들의 명령어 실행 정확도가 15~37점대로 매우 낮다는 점은 이 분야의 개발 방향을 규정하는 중요한 기준을 제시한다.
핵심 요약
- 실시간 상호작용이 가능한 스트리밍 영상 생성 모델을 평가하는 통합 벤치마크 StreamEval을 발표했다.
- 아바타 대화, 아바타 공연, 월드 생성, 명령어 편집, 참조 편집의 5가지 과제를 포함한다.
- 각각 15초~300초 길이의 300개 테스트 케이스로 구성되며, 초기 에셋·시간순 멀티모달 요청·상태 변화 및 콘텐츠 유지 요구사항이 정의되어 있다.
- 과제 실행, 상태 일관성, 시각적 충실도, 오디오비주얼 조화의 4개 평가 차원을 10개 태스크별 메트릭으로 0~100 스케일로 측정한다.
- 37개 모델을 300개 테스트 케이스로 평가한 결과, 높은 시각적 품질과 얼굴 보존이 신뢰할 수 있는 명령어 실행이나 상태 일관성과 반드시 일치하지 않음을 발견했다.
- 명령어 실행이 주요 과제로, 아바타 공연 모델 중 가장 높은 Following 점수는 36.90, 텍스트 기반 월드 생성은 25.93, 참조 편집 모델은 15.00에 그쳤다.
- 시간 제약 및 보존 조건 하에서 신뢰할 수 있는 명령어 실행이 옴니모달 실시간 상호작용 시스템 발전의 핵심 과제임을 지적했다.
- 리더보드는 https://streameval.ai에서 확인할 수 있다.