추론 능력이 필요한 이미지 편집, 벤치마크와 해법 제시

핵심 요약

• 대규모 멀티모달 모델(LMM)이 시각 이해와 생성에는 진전했지만, 복잡한 지시 이해, 외형 일관성 보존, 유연한 입력 형식 지원에서 이미지 편집 능력이 부족하다.
• 이 문제를 연구하기 위해 추론 기반 시각 편집(RISE)을 평가하는 RISEBench 벤치마크를 개발했고, 더 포괄적인 RISEBench++로 확장했다.
• RISEBench++는 시간적·인과적·공간적·논리적·반사실적 추론과 다중 추론을 통합한 하이브리드 추론 등 6개 차원으로 계층화되어, 12개 세부 카테고리와 65개 세분화 과제로 구성된다.
• 영문·중문으로 1000개의 인간 주석 테스트 케이스를 제작했으며, 다중 이미지 조건 입력을 지원한다.
• 평가 틀은 지시 이해, 외형 일관성, 시각적 타당성을 사람 판정자와 LMM 판정자로 검증한다.
• 벤치마크 외에도 RISE-Agent라는 훈련 없이 작동하는 에이전트 프레임워크를 제시했으며, 추론 기반 계획, 도구 활용, 검증 기반 개선을 통합한다.
• 58개 시각 편집 접근법을 평가했는데, 오픈소스 34개·폐쇄소스 19개·에이전트 방식 5개가 포함된다.
• 가장 우수한 평가 모델인 GPT-Image-2.5 Sunburst도 56.6% 정확도에 그쳤으며, 이는 추론 기반 편집의 심각한 과제를 드러낸다.