동영상 얼굴 바꾸기를 실시간으로, StreamingSwap 프레임워크
원제 From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping
추천 18댓글 2
Key Point
얼굴 교체 기술을 실시간 장시간 스트림까지 확장한 기술적 혁신으로, 고화질 정체성 전이를 저사양 하드웨어에서 구현했다.
핵심 요약
- 비디오 페이스 스와핑은 참조 이미지의 얼굴을 타겟 영상에 전이하면서 다른 속성과 움직임은 보존하는 작업이다.
- 기존 플로우 매칭 방식은 얼굴만 바뀌는 변화에 약하고, 장시간 스트림에서 정체성 전이·고화질·실시간 생성을 동시에 달성하기 어렵다.
- Joint Rec-ID Loss를 개발해 노이즈 레벨에 따라 명시적 정체성 감독과 잠재 재구성을 균형있게 한다.
- Face-RoI Generation과 Short-Context Rollout Training으로 공간 토큰을 줄이고 시간적 문맥을 단축해 효율을 높인다.
- StreamingSwap은 플로우 매칭 기반 실시간 영상 페이스 스와핑 프레임워크다.
- 1,000시간의 영화 훈련 데이터와 200개 짧은·200개 긴 영상으로 이루어진 HumanFaceVid 데이터셋을 구축했다.
- NVIDIA RTX 4090 GPU 단일 장비에서 초당 20프레임으로 경쟁력 있는 정체성 전이와 화질을 달성한다.
- 최대 10분 길이의 영상에서 안정적인 생성이 가능하다.