AI 코딩 에이전트의 4D 장면 생성 능력 평가 벤치마크 공개
원제 VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender
추천 84댓글 3
Key Point
코딩 에이전트의 3D/4D 시각 생성 능력의 객관적 평가 기준이 부족한 상황에서 실제 활용 가능한 벤치마크가 제시되었으므로, AI 에이전트 개발과 평가 방향을 이해하는 데 필요합니다.
핵심 요약
- 비디오 생성 모델의 레이아웃, 모션, 카메라를 고정하는 렌더링된 프록시 비디오를 통해 제어 가능한 현실적 비디오 생성이 가능하며, 코딩 에이전트는 Blender에서 4D 장면을 재구성해 이를 생성할 수 있다.
- VibePrevisBench는 4D 장면 재구성을 평가하는 벤치마크로, 에이전트가 간단한 요청사항을 실행 가능한 4D 장면으로 변환하고 프록시 비디오를 렌더링한다.
- 벤치마크는 스크립트, 사진, 장면 연속성, 참고 비디오 등 4가지 입력 형식을 포함한 242개 작업으로 구성된다.
- Rule-based Scene Check는 코드를 재실행하고 생성된 4D 장면을 9개 차원의 숨겨진 정답 사실과 비교하며, VLM-based Screen Check는 언어 모델 판사가 통과한 사실이 프록시 비디오에서 인식되는지 판단한다.
- 11개 최신 코딩 에이전트의 결과와 궤적을 분석한 결과, 다중 양식 이해가 특히 공간과 카메라 모션 이해에서 에이전트들을 구분했다.
- 모든 에이전트는 기본적인 카메라 작업과 무대 배치는 숙달했으나 복잡한 요청사항에서 실패했고, 자신의 렌더링 결과를 검수하지만 오류 수정에는 실패했다.
- 에이전트는 공간과 카메라의 시각적 이해 개선, 복잡한 요청사항에 대한 명확한 검수, 렌더링 결과를 요청사항과 대조하는 항목별 검증 기능이 필요하다.