과거 거리 풍경 복원, 위성 데이터로 세대를 뛰어넘다
원제 CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation
추천 25댓글 2
Key Point
위성 이미지와 시간 정보를 활용한 역사 거리 풍경 복원 기술로, 도시 아카이브나 도시계획 분야에서 데이터 부족 문제를 해결할 수 있는 새로운 접근 방식을 제시한다.
핵심 요약
- 도시의 변화를 기록한 역사적 거리 풍경 이미지는 시간 범위가 불균형해 기록 공백이 많은데, 이를 해결하기 위해 CrossTimeEdit 논문은 VIGOR-his 데이터셋을 제시한다.
- VIGOR-his는 3대륙 11개 도시의 10년 단위 거리 풍경 쿼드러플렛 43,653개를 포함하며, 공간 쌍짓기·일관성 검증·변화 분류·위성 기반 변화 설명 생성 및 검증 등 자동화 파이프라인을 거친다.
- CrossTimeEdit는 FLUX.2 4B 모델을 기반으로 거리 풍경 생성을 편집 작업으로 재구성하며, 최근 거리 풍경으로 시점과 불변 부분을 제약하고 시간별 위성 차이를 변화 증거로 활용한다.
- 지시문 정렬·배경 보존·화질 및 물리적 타당성 등 세 가지 편집 기준을 RL 보상 차원과 평가 지표로 설정했다.
- Flow-GRPO와 GDPO 최적화 기법을 사용해 다중 보상 목표를 학습하며, 각 보상 차원을 정규화한 후 통합한다.
- CrossTimeEdit은 사전학습 기준선 대비 세 편집 기준에서 종합 성능을 17.12% 향상시켰으며, 장면 일관성·시각적 현실성·인지 품질에서 기존 교차 시점 생성 모델을 능가한다.