Hugging Face 논문AI · 머신러닝

코드로 영상 생성 제어하는 AI 에이전트 등장

원제 Video-Coder: Reinforcing Agentic Coding for Video Generation

추천 21댓글 3Chaoyang Wang, Sicheng Gao, Junan Hu 외
Key Point

정밀한 공간 구조와 제어 가능한 영상 생성이라는 영상 AI의 오래된 문제를 코드 기반 에이전트로 풀어내는 새로운 패러다임이기 때문이다.

핵심 요약

  • Video-Coder는 코드를 자율적으로 작성·실행하여 3D 장면을 구성하는 영상 생성 에이전트로, 이 3D 장면(Draft Video)이 다운스트림 영상 생성 모델에 구조와 모션 신호를 제공한다.
  • 논문은 6천 개 샘플의 감독학습용 데이터셋(Video-Coder-SFT-6k)과 2천 개 샘플의 강화학습용 데이터셋(Video-Coder-RL-2k)을 새로 구축했다.
  • 코드 실행·3D 렌더링·실행 피드백을 통합한 Video-Coder Harness 환경을 개발하여 에이전트 훈련과 추론에 사용한다.
  • 감독학습 후 실행 기반 보상과 영상 기반 보상을 결합한 강화학습을 수행하며, 훈련 후반부로 갈수록 실행 보상 가중치를 줄이는 어닐링 전략을 적용한다.
  • PhyGenBench에서 Minimax-H3 지표가 약 7포인트, VBench-2.0에서 약 24포인트 향상되었다.
  • 데이터·모델·코드를 모두 공개하여 영상 생성 분야 코딩 에이전트의 기초가 되길 목표로 한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗