비디오 생성 중간에 이미 완성된 토큰 멈추기

핵심 요약

• 자동회귀 비디오 생성은 모든 토큰을 최종 노이즈 제거 단계까지 거치지만, 많은 토큰은 초기 단계에서 이미 최종 출력과 거의 같아서 더 이상의 처리가 불필요하다.
• Speculative Forcing은 초기 단계의 깨끗한 추정값을 임시 결과물로 취급하고, 개별 토큰이 안전하게 조기에 수락될 수 있는 시점을 예측하는 프레임워크다.
• 수락된 토큰은 더 이상 노이즈 제거를 받지 않으면서 남은 토큰들의 맥락으로 캐시된 키와 값이 활용된다.
• 학습 없이 토큰의 유사도와 단계 간 안정성으로 판단하는 검증기와, 생성기의 중간 특성을 읽어 각 토큰의 남은 개선 범위를 추정하는 학습된 검증기 두 가지 방식을 제시한다.
• 짧은 비디오, 긴 비디오, 월드 생성 전반에서 전체 단계 샘플링의 품질을 유지하면서 계산량을 크게 줄인다.
• LongLive에서 4단계 생성기 수준의 품질을 토큰당 약 1.7 노이즈 제거 단계로 달성하며 초당 41.7~37.8 프레임으로 1.5배 이상 빠르다.
• Lingbot-World 2.0에서 카메라 움직임으로 보이는 내용이 계속 바뀌어도 토큰당 약 2.5 노이즈 제거 단계로 품질을 유지하며 초당 24.5 프레임으로 1.35배 빠르게 실행된다.