이미지 여러 번 편집할 때 화질 유지하기
원제 MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion
추천 36댓글 1
Key Point
연속된 이미지 편집 작업에서 화질 저하와 이전 편집 손실 문제를 해결하는 실질적인 기술이 나왔다.
핵심 요약
- 사용자가 연속된 명령어로 이미지를 여러 번 편집하는 다중 턴 이미지 편집 작업에서 기존 방식은 몇 번의 편집 후 화질 저하와 부작용이 누적되거나 이전 편집 내용이 의도하지 않게 변경되는 문제가 발생한다.
- 이 논문은 자동회귀 확산 기반의 통합 멀티모달 모델(UMM)을 위한 새로운 훈련 방식인 MT Forcing을 제안한다.
- 단일 턴 분포 매칭 증류(Single-Turn DMD)는 교사 모델이 원본 이미지에 누적된 편집을 한 번에 적용한 결과로 학생 모델의 자동 롤아웃을 감독하여, 반복적 오류 누적 없이 시각적 품질 지도를 제공한다.
- 티처 포싱 가이던스는 워밍업 중과 증류 중 정규화로서 참조 궤적의 히스토리 의존 전환을 감독하여, 턴 간 내용 일관성을 강화한다.
- 실험 결과 이 방식은 UMM의 다중 턴 이미지 편집 성능을 크게 향상시켜 더 안정적인 시각적 품질과 강한 턴 간 일관성을 달성했다.