추론 능력이 필요한 이미지 편집, 벤치마크와 해법 제시
Key Point
복잡한 지시에 따라 이미지를 편집하는 능력이 LMM의 주요 약점임을 정량화한 첫 벤치마크이며, 현 최고 모델도 56%대 정확도에 불과해 이 분야의 개선이 얼마나 필요한지 보여준다.
핵심 요약
- 대규모 멀티모달 모델(LMM)이 시각 이해와 생성에는 진전했지만, 복잡한 지시 이해, 외형 일관성 보존, 유연한 입력 형식 지원에서 이미지 편집 능력이 부족하다.
- 이 문제를 연구하기 위해 추론 기반 시각 편집(RISE)을 평가하는 RISEBench 벤치마크를 개발했고, 더 포괄적인 RISEBench++로 확장했다.
- RISEBench++는 시간적·인과적·공간적·논리적·반사실적 추론과 다중 추론을 통합한 하이브리드 추론 등 6개 차원으로 계층화되어, 12개 세부 카테고리와 65개 세분화 과제로 구성된다.