동영상 손톱 따기를 7배 빠르게, 4K에서도 실시간 처리
원제 MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting
추천 19댓글 2
Key Point
4K 동영상도 실시간 처리가 가능한 수준으로 효율을 개선한 기술이며, 헤어 디테일 보존이 중요한 영상 편집·라이브 스트리밍 용도에 실용적 영향을 미친다.
핵심 요약
- 고해상도 동영상에서 머리카락 같은 미세한 디테일과 투명도를 보존하면서 프레임 간 일관성을 유지하는 비디오 매팅(영상 배경 분리) 문제를 다룬다.
- 기존 메모리 기반 방식은 이전 프레임의 정보와 현재 프레임을 매칭하지만 해상도가 높아질수록 비용이 급증한다.
- MatAnyone-E는 저해상도에서 먼저 불확실한 영역과 관련 메모리를 파악한 뒤, 해당 부분만 고해상도로 정밀 매칭하고 나머지는 저해상도 결과를 재사용한다.
- 추가로 실제 런타임 병목을 기준으로 설계한 경량 디코더를 도입하여 고해상도 매트 생성 비용을 더 줄였다.
- MatAnyone 2 대비 추론 속도 7.4배 개선, 4K에서 GPU 메모리 사용량을 7.6%로 감축했다.
- NVIDIA H200 단일 GPU에서 1080p 73.07 FPS, 4K 28.62 FPS를 달성한다.