캔버스 지시로 이미지 편집하는 VibeEdit
원제 VibeEdit: Image Editing with Canvas Instructions
추천 18댓글 2
Key Point
유사한 객체 여럿 중에서 정확히 어떤 것을 편집할지 지정하는 문제를 시각적 주석으로 해결하면서 성능 지표에서 기존 방식을 크게 앞선다.
핵심 요약
- 텍스트 기반 이미지 편집에서 변경 내용을 설명하기는 쉽지만 대상 객체나 영역을 명확히 지정하기는 어려운데, 특히 비슷해 보이는 객체가 여럿 있을 때 그렇다.
- VibeEdit는 사용자가 이미지에 직접 공간적 표시와 선택적 짧은 메모를 남기는 새로운 편집 인터페이스를 제공하며, 이 주석들이 함께 캔버스 지시를 형성한다.
- 별도 텍스트 프롬프트 없이 객체 추가, 제거, 교체, 속성 수정, 이동 등을 수행한다.
- 155만 개의 소스-대상 편집 쌍을 객체 마스크와 구조화된 편집 설명과 함께 구축했고, 훈련 중 캔버스 지시를 렌더링한다.
- Qwen-Image-Edit를 계층 분리 조건화로 적응시켜 원본 이미지와 캔버스 지시를 별도로 인코딩한다.
- 영역 가중치 지도 미세 조정과 편집 완성도·국소 편집 품질·편집되지 않은 영역 보존을 개선하는 큐브릭 가이드 강화학습으로 훈련한다.
- 유사한 객체 중 목표 선택을 강조하는 인간 큐레이션 벤치마크 419개 사례로 평가했다.
- VibeEdit는 VLM 큐브릭 점수 79.9와 영역 외부 PSNR 32.8 dB를 달성했으며, 최고 성과 텍스트 지시 기준선 FireRed의 67.4와 24.0 dB을 능가한다.