Hugging Face 논문AI · 머신러닝

동영상에서 학습 데이터를 자동 생성하는 AI 에이전트

원제 VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks

추천 27댓글 2Tengju Ru, Weitong Lian, Zecong Tang 외
Key Point

동영상에서 자동으로 멀티모달 학습 데이터를 생성하고 최적화하는 방식이 멀티모달 AI 모델 개발의 데이터 부족 문제를 어떻게 풀 수 있는지 보여주는 실질적인 접근법이다.

핵심 요약

  • 멀티모달 학습 발전이 고품질 학습 데이터 부족과 높은 레이블링 비용으로 제한되고 있는 상황에서, VidUEU-Agent는 원본 동영상에서 자동으로 학습 데이터를 생성하는 파이프라인을 제시한다.
  • 4단계 파이프라인으로 구성되며, 저품질 장면을 필터링하고, 핵심 프레임과 멀티모달 신호를 추출한 뒤, 메타데이터를 구성하고 라우팅하여 학습 샘플을 합성한다.
  • 에이전트 프레임워크는 다운스트림 학습 결과를 기반으로 자동으로 데이터 분포를 반복 최적화하여 데이터 품질, 균형, 학습 효율성을 개선한다.
  • 이 파이프라인을 확장하여 VidUEU-100K라는 대규모 데이터셋을 구축했으며, 여러 도메인과 작업에 걸친 10만 개의 학습 샘플을 포함한다.
  • VidUEU-100K로 기준 모델을 파인튜닝했을 때 다양한 벤치마크에서 일관되고 유의미한 성능 향상을 보여주며, 제안된 에이전트 프레임워크와 데이터셋의 효과를 검증한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗