영상 생성 지연 시간 없이 고품질 모델 쓰는 법

핵심 요약

• 인터랙티브 영상 생성은 응답 지연을 줄이기 위해 작은 양방향 청크를 사용해왔으나, 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 소폭만 증가함을 발견했다.
• Speculative Sampling 기법을 제안하는데, 이는 큰 양방향 윈도우의 모델링 능력과 작은 윈도우의 저지연 상호작용을 결합한다.
• 노이즈 래턴트를 패딩으로 추가해 모델링 윈도우를 확장하고, 조건이 바뀌지 않으면 예측 결과를 캐시해 재사용한다.
• 예측은 점진적으로 전달되며, 아직 확정되지 않은 미래 부분은 언제든 교체 가능한 상태로 유지된다.
• 지연 시간 분석 결과, 청크 경계로 인한 대기 시간 하한을 제거하고 최적화 초점을 청크 크기 감소에서 청크별 샘플링 가속으로 이동시킨다.
• 양방향 윈도우 크기가 저지연 상호작용의 필수 제약이 아닌 시각적 품질과 샘플링 시간을 동시에 최적화하는 결정 변수가 된다.
• 이를 통해 복잡한 스트리밍 후처리 학습 없이 인터랙티브 스트리밍 시스템에서 큰 양방향 모델을 운영할 수 있는 경로를 열었다.