Flow Matching으로 이미지 보정 도구 제어하기
원제 FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
추천 22댓글 2
Key Point
자동회귀 방식의 느린 추론을 벗어나 50배 빠른 이미지 보정 시스템을 구현한 새로운 접근 방식으로, 생성형 AI 기반 편집 도구의 성능과 효율성을 크게 개선할 수 있는 경로를 제시한다.
핵심 요약
- 기존 이미지 보정 도구는 자동회귀 방식의 대형언어모델로 추론과 도구 선택, 파라미터를 순차적으로 생성했다.
- FlowTool은 이 문제를 Flow Matching으로 재정의하여 입력 이미지와 사용자 지시에 조건부된 고품질 편집 파라미터 분포를 직접 모델링한다.
- 비전-언어 모델과 Diffusion Transformer 기반 파라미터 생성기를 결합해 가우시안 잡음을 편집 계획으로 변환한다.
- 2단계 지도학습 Flow Matching 커리큘럼과 보상 기반 사후학습으로 모델을 훈련했다.
- MMArt-Bench, FlowTool-Eval, ArtEdit-Bench, MIT-Adobe5K 등 4개 벤치마크에서 특화된 MLLM 에이전트와 상용 모델보다 기준기반 평가에서 우수한 성능을 보였다.
- 기준 없는 평가에서는 상용 모델과 경쟁력 있는 수준을 유지했다.
- 추론 지연은 기준선 대비 최소 50배 감소했고 메모리 사용량은 2배 이상 줄었다.
- 자동회귀 추론 없이 구조화된 연속 편집 파라미터 위의 조건부 생성으로 도구 기반 이미지 편집을 효과적으로 모델링할 수 있음을 보여준다.