동영상 생성 AI, 에이전트 학습으로 정확도 19% 향상
Key Point
비디오 생성 AI가 에이전트 기반 강화학습으로 복잡한 요구사항을 만족하는 방식이 크게 개선되었으며, 추후 생성 도구 발전 시 자동으로 성능 향상을 얻을 수 있다는 점이 중요하다.
핵심 요약
- 비디오 생성 모델이 복잡한 프롬프트를 만족하지 못하는 문제를 해결하기 위해 VideoGen-Agent를 제시했다.
- 이 에이전트는 증강·생성·검증 도구를 멀티턴 상호작용으로 조율하며, 프롬프트와 중간 관찰 결과를 바탕으로 의사결정한다.
- 지도 학습과 강화학습을 거쳐 도구 사용 능력을 개선했고, 카테고리별 균형잡힌 보상으로 평가했다.
- 절차적 지식, 신원 보존, 물리적 일관성 등 6가지 과제를 다루는 VABench 벤치마크 600개 프롬프트를 소개했다.
- VABench에서 기본 생성기 대비 56.5에서 75.6으로 19.1점 개선했으며, 도구 업그레이드 시 86.1까지 상승했다.
- 인간 평가에서 강화 구성이 최강 베이스라인 대비 84.3% 비율로 선호됐다.