비디오 생성의 병목은 렌더링에서 의미 제어로 넘어갔다

핵심 요약

• 비디오 생성 기술이 짧은 영상 클립에서 장면 간 일관성 있는 오디오-비주얼 시퀀스로 진화했으며, 이제 병목이 화질 렌더링에서 의미 제어로 옮겨가고 있다.
• Kling의 다세대 개발을 통해 얻은 다중모달 이해에 관한 통찰을 정리한 보고서로, 생성 품질은 데이터-조건화-정렬-평가 전체 파이프라인을 통한 다중모달 이해의 투영이라고 주장한다.
• Kling-MLLM은 이미지, 비디오, 오디오, 동기화된 오디오-비디오, 인터리빙 입력을 통합하는 공유 다중모달 기초 모델이며, 각 후속 모듈에 맞춰 특화된다.
• 확산 트랜스포머(DiT)는 언어 모델보다 훨씬 적은 훈련 샘플로 학습되므로 캡셔닝을 '설명 밀도를 최대화하는 의미 계약'으로 취급하고, 참조 바인딩을 명시하는 참조-접지 캡셔닝으로 확장했다.
• 프롬프트 강화는 사용자 의도를 캡션 분포로 번역하는데, 기본 강화는 설득력 있는 비디오의 캡션으로 도출되고 텍스트 수준 및 생성기-반복 강화학습으로 정제된다.
• 에이전트 프롬프트 강화는 스토리를 다듬고 설득력 있는 사례를 검색한다.
• 신뢰할 수 있는 텍스트 인코더는 강한 언어 능력이 아닌 지각 훈련에서 나오며, 후보는 종단간 훈련 전에 텍스트만으로 스크리닝할 수 있다.
• 보상 모델링은 설명 가능하고 위치화된 비판을 위한 일반 보상 모델과 빠른 다차원 점수 매기기를 위한 의사결정 보상 모델을 쌍으로 운영하며, 지각 대역폭을 1차 설계 매개변수로 취급한다.
• 작업별 자동 평가는 점수 매기기 지름길을 드러내고 실패를 상위 소스로 추적하는 프로토콜에 초점을 맞춘다.