비디오 언어 모델로 e스포츠 실시간 연출과 해설 자동화
원제 DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model
추천 28댓글 2
Key Point
실시간 영상 생성 능력을 갖춘 대규모 언어 모델이 단순 해석을 넘어 실시간 의사결정(카메라 선택)이 필요한 프로덕션 수준의 작업을 수행할 수 있다는 점을 실증한 첫 사례입니다.
핵심 요약
- e스포츠 실시간 방송은 초 단위로 어느 카메라를 송출할지 결정하고 해설하는 연출자와 해설자가 필요하며, 미래를 알 수 없는 상황에서 진행된다.
- 기존 스트리밍 비디오 언어 모델은 인간 연출자가 이미 제작한 방송을 보고 해설만 했으나, 이 논문은 모든 선수 카메라의 원본 영상을 받아 직접 연출과 해설을 동시에 수행하는 라이브 방송 제작을 다룬다.
- DirCast는 매초 모든 카메라를 저해상도로 스캔하고, 홀드-또는-스위치 연출자로 컷 여부와 위치를 결정한 뒤, 선택된 카메라를 고해상도로 읽고 해설을 생성한다.
- 컨텍스트는 송출된 내용과 말한 내용만 유지하고 다른 화면은 제거하여 스트림 길이에 관계없이 계산 비용을 제한한다.
- 연구팀은 모든 히어로별 카메라, 인간 연출자의 선택, 캐스터의 해설이 포함된 27개의 프로 도타2 경기 데이터셋을 구축했다.
- DirCast는 규칙 기반 및 제로샷 연출자(GPT-5 포함)보다 나은 연출 성능을 보였고, Proact-VL 프로토콜 기준으로 GPT-4o 대비 비교에서 29.2%의 승률을 기록했다.
- 해설 성능은 인간 방송을 보는 11개의 스트리밍 해설자 중 최고 성능자(19.4%)보다 DirCast가 앞섰다.