비디오의 특정 영역만 자유롭게 스타일링하는 AI 모델 LociArt 공개

핵심 요약

• 비디오 스타일화는 전체 장면을 변환하는데, 로컬 편집은 정확한 영역-스타일 연결, 공간 제어, 시간적 일관성이 필요하다.
• LociArt는 어디를 스타일화할지와 어떤 스타일을 적용할지 명시하면서 대상이 아닌 콘텐츠는 보존하는 자유로운 로컬 비디오 스타일화 패러다임을 제시한다.
• 핵심 모듈 GRNStyle은 생성형 정제 네트워크(GRN)를 기반으로 하며, 선택된 영역 내에 스타일 정체성을 동등한 크기의 방향으로 임베딩하는 극좌표 스타일 인식 마스크를 도입한다.
• 상호보완적 표현-기하학 조건화는 인코딩된 마스크 특성을 원본 마스크 공간 지원과 결합하여 시공간 맥락과 기하학적 제어를 통합한다.
• 쌍을 이룬 감시 학습을 제공하기 위해 전역 스타일화, 비디오 객체 제거, 매팅, 합성을 결합한 자동화 파이프라인을 개발하고 100K 로컬 스타일화 쌍으로 구성된 LociArt-100K 데이터셋을 구축했다.
• LociArt 벤치마크는 80개 소스 비디오와 84개 대상 마스크로 168개 전경/배경 스타일화 케이스를 포함하며, 지역 스타일 품질을 평가하는 스타일 프로토타입 유사도(SPS) 방식과 대상 외 보존 및 시간적 일관성 측정값을 제공한다.
• GRNStyle은 기존 방법보다 지역 스타일 품질과 공간 제어에서 우수하면서도 강한 시간적 일관성을 유지한다.
• 단일 영역·단일 스타일 쌍으로만 학습했음에도 불구하고 동일하거나 다른 학습된 스타일로 여러 영역을 함께 스타일화하는 것이 가능하다는 것을 정성적 사례를 통해 입증했다.