동영상에서 학습 데이터를 자동 생성하는 AI 에이전트
원제 VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks
추천 27댓글 2
Key Point
동영상에서 자동으로 멀티모달 학습 데이터를 생성하고 최적화하는 방식이 멀티모달 AI 모델 개발의 데이터 부족 문제를 어떻게 풀 수 있는지 보여주는 실질적인 접근법이다.
핵심 요약
- 멀티모달 학습 발전이 고품질 학습 데이터 부족과 높은 레이블링 비용으로 제한되고 있는 상황에서, VidUEU-Agent는 원본 동영상에서 자동으로 학습 데이터를 생성하는 파이프라인을 제시한다.
- 4단계 파이프라인으로 구성되며, 저품질 장면을 필터링하고, 핵심 프레임과 멀티모달 신호를 추출한 뒤, 메타데이터를 구성하고 라우팅하여 학습 샘플을 합성한다.
- 에이전트 프레임워크는 다운스트림 학습 결과를 기반으로 자동으로 데이터 분포를 반복 최적화하여 데이터 품질, 균형, 학습 효율성을 개선한다.
- 이 파이프라인을 확장하여 VidUEU-100K라는 대규모 데이터셋을 구축했으며, 여러 도메인과 작업에 걸친 10만 개의 학습 샘플을 포함한다.
- VidUEU-100K로 기준 모델을 파인튜닝했을 때 다양한 벤치마크에서 일관되고 유의미한 성능 향상을 보여주며, 제안된 에이전트 프레임워크와 데이터셋의 효과를 검증한다.