초해상화, 올바른 잠재공간에서 해결하다
원제 Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
추천 19댓글 1
Key Point
DINOv3 비전 파운데이션 모델의 잠재공간이 기존 방식보다 초해상화 작업을 근본적으로 효과적으로 만드는 방법을 제시하여, 이미지 복원 파이프라인의 설계 원칙이 바뀔 수 있음을 보여준다.
핵심 요약
- 고해상도 자연 이미지의 임베딩들은 잠재공간에서 다양체를 형성하며, 저화질 이미지는 이 다양체 바깥에 위치한다.
- 기존 초해상화 방법들은 재구성 지향 또는 픽셀 공간에서 작동하는데, 이 공간들에서 저화질 이미지가 다양체에서 멀리 떨어져 있어 매핑이 어렵고 비용이 크다.
- 의미 정보가 부족한 공간에서 작동하면 심각한 할루시네이션이 발생하며, 화질 저하가 심할수록 이 문제는 악화된다.
- 연구팀은 DINOv3-L의 23개 융합 계층 잠재공간이 초해상화에 적합함을 발견했다.
- 이 공간에서 저화질 이미지는 다양체 근처에 위치하며, 픽셀 기록부터 열화-견고한 의미론까지 정보의 계층 구조를 포함한다.
- 415M 매개변수 디코더를 재구성 및 적대적 손실 함수로 학습시켜 임베딩을 다양체로 매핑하고 한 번에 픽셀 공간으로 복원한다.
- 결과 모델 RAESR은 RealSR, DRealSR, LSDIR, DIV2K-Val에서 충실도-지각 트레이드오프 측면 최고 성능을 달성했다.
- 단일 H20 GPU에서 512×512 이미지당 37ms의 처리 속도를 기록했다.
- 동일한 구조에서 VAE 잠재공간을 대신 사용하면 모든 지표에서 성능이 저하된다.