통합 멀티모달 모델용 대규모 대화형 데이터셋 공개
원제 YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
추천 26댓글 1
Key Point
멀티모달 AI가 단순 일회성 작업을 넘어 복잡한 대화 흐름에서 상태를 정확히 관리해야 하는 시대에, 이를 평가할 첫 대규모 벤치마크가 공개되었기 때문이다.
핵심 요약
- 통합 멀티모달 모델(UMM)은 시각 이해, 생성, 편집을 하나의 프레임워크에서 수행하지만 기존 데이터셋은 단순 작업 중심이었다.
- 최근 다중 턴 데이터셋도 각 턴을 독립적으로 풀 수 있어, 대화 상태를 추적하고 유지해야 하는 상태형 상호작용을 평가하기 부족했다.
- YANAMI는 상태형 상호작용을 위한 첫 대규모 멀티모달 대화 데이터셋으로 YANAMI-400K와 YANAMI-Bench로 구성된다.
- YANAMI-400K는 400만 개 멀티턴 대화(200만+ 이미지, 260만 턴)를 담으며 다중이미지 융합, 이미지 편집, 세계 모델링, 시각 추론 등 4개 시나리오를 포함한다.
- 각 대화는 모델이 진화하는 멀티모달 대화 상태를 지속적으로 추적·유지·수정하도록 요구한다.
- YANAMI-Bench는 400개 멀티턴 대화로 대화 상태 이해와 시각적 실현을 함께 평가하며, 모델의 상태 이해 능력과 시각화 능력 간 격차를 드러낸다.
- BAGEL을 YANAMI-400K로 파인튜닝하면 이미지 편집 10.3%, 생성 2.0%, 상태형 상호작용 13.23% 개선되면서 기존 시각 이해 능력은 유지된다.
- YANAMI-Bench 평가 결과 기존 UMM들은 여전히 진화하는 멀티모달 상태를 유지·수정·시각화하는 데 어려움을 겪는다.