한 번에 여러 편집 지시를 따르는 이미지 편집 모델 MTEdit 공개
원제 MTEdit: Packed Trajectories Beat Rollouts for Multi-Turn Image Editing
추천 21댓글 2
Key Point
한 번에 여러 편집 지시를 정확하게 따르면서도 이미지 품질 저하를 막는 기술이 필요한 실무 환경에서 활용할 수 있는 대규모 데이터셋과 평가 기준을 제시했기 때문이다.
핵심 요약
- 여러 개의 편집 지시를 순서대로 받아 하나의 이미지를 단계별로 수정하는 다중 턴 이미지 편집 기술을 연구했다.
- 기존의 순차적 방식은 각 단계마다 오류가 누적되어 이미지 품질이 떨어지는 문제가 있었다.
- 팩드 궤적 캔버스(PTC) 기법으로 여러 편집 상태를 하나의 시각적 맥락에서 함께 생성하면 이 문제를 줄일 수 있음을 발견했다.
- 50만 개의 다중 턴 편집 궤적으로 이루어진 MTEdit 데이터셋을 구축했으며, 편당 평균 5.38번의 편집으로 최대 8번까지 진행된다.
- 편집 지시 따르기, 콘텐츠 일관성 유지, 품질 저하 방지, 과거 맥락 활용 능력을 평가하는 MTEdit-Bench 벤치마크를 개발했다.
- MTEdit 데이터셋으로 Qwen-Image-Edit-Causal을 미세조정한 Qwen-Image-MTEdit 모델은 평가 대상 오픈소스 모델 중 최고 성능을 기록했다.