초해상화, 올바른 잠재공간에서 해결하다
Key Point
DINOv3 비전 파운데이션 모델의 잠재공간이 기존 방식보다 초해상화 작업을 근본적으로 효과적으로 만드는 방법을 제시하여, 이미지 복원 파이프라인의 설계 원칙이 바뀔 수 있음을 보여준다.
핵심 요약
- 고해상도 자연 이미지의 임베딩들은 잠재공간에서 다양체를 형성하며, 저화질 이미지는 이 다양체 바깥에 위치한다.
- 기존 초해상화 방법들은 재구성 지향 또는 픽셀 공간에서 작동하는데, 이 공간들에서 저화질 이미지가 다양체에서 멀리 떨어져 있어 매핑이 어렵고 비용이 크다.
- 의미 정보가 부족한 공간에서 작동하면 심각한 할루시네이션이 발생하며, 화질 저하가 심할수록 이 문제는 악화된다.