이미지 콘텐츠 자동 제거 모델 LensErase 공개
원제 LensErase: A Foundation Model for Erase Anything
추천 36댓글 1
Key Point
이미지에서 특정 객체를 정확하게 제거하는 작업은 콘텐츠 제작, 사진 편집, 광고 등에서 널리 필요한데, 단일 모델로 이를 통합적으로 처리하는 기초 모델이 등장했다는 점이 의미있다.
핵심 요약
- Hugging Face는 다양한 객체와 텍스트, 워터마크 제거를 지원하는 범용 이미지 편집 모델 LensErase를 공개했다.
- 1억 100만 개의 소스-마스크-타겟 쌍으로 구성된 LensErase-100M 데이터셋을 구축해 학습의 광범위한 커버리지를 확보했다.
- 텍스트-투-이미지 모델 Lens를 기반으로 마스크 기반 제거 작업으로 적응시킨 후, Mask-Aware RoPE라는 3D 회전형 위치 인코딩으로 마스크 정보를 효율적으로 통합했다.
- 지도 학습과 강화학습으로 모델을 정제했으며, 계약 기반 리전 어웨어 보상을 사용하고 추론 시 TraceFusion으로 편집 영역 외 콘텐츠의 고화질을 보존한다.
- 6개 공개 벤치마크와 자체 LensErase-Bench에서 참조 기반 및 참조 없는 VLM 평가 모두에서 실질적인 성능 향상을 달성했다.
- 다양한 객체 크기, 종횡비, 해상도 범위에서 여러 객체 동시 제거를 지원하며, 제거 관련 애플리케이션과 시스템의 기초 모델로 활용될 수 있도록 설계했다.