AI가 실사진으로 3D 모델 만드는 능력을 재보다
원제 BlenderWorld: Benchmarking Visual Agents for 3D Creation from Real-World References
추천 23댓글 2
Key Point
LLM 기반 AI 에이전트가 3D 모델링 작업을 수행할 수 있게 되면서, 실무 수준의 성능 평가 기준이 필요해졌고, 이 벤치마크가 현재 모델들의 공간 추론 능력의 한계를 명확히 드러낸다.
핵심 요약
- 멀티모달 LLM이 자율 에이전트로 작동하며 코드나 소프트웨어 조작을 통해 3D 모델을 생성·편집할 수 있게 되면서, 실제 워크플로우에서 참고 자료로부터 물체 형상·재질·공간 배치·조명을 추론하고 지시를 따라 3D 콘텐츠를 재구성·수정·설계해야 한다.
- 기존 벤치마크는 현실 시나리오에 걸친 열린 형태의 요청을 제한적으로 다루고 있어, 이 간극을 메우기 위해 BlenderWorld 벤치마크를 개발했다.
- BlenderWorld는 건축·제품·자연환경·과학 시각화 분야의 223개 과제로 구성되며, 텍스트·이미지·비디오·구조화된 명세서를 입력으로 받는다.
- 제출된 Blender 프로젝트를 여러 시점에서 렌더링한 후 2,651개의 과제별 이진 평가표와 전체적 시각 품질 점수로 평가하는 통일된 평가 프로토콜을 수립했다.
- 13개 최신 모델을 벤칭한 결과 GPT-6-Astra가 79.9의 최고 융합 점수를 기록했고, Opus-5(73.0), GPT-5.6-Sol(67.7)이 뒤를 이었다.
- 현재 모델들은 광범위한 지시를 파싱할 수 있지만 Blender에서 정교한 3D 공간 일관성과 정확한 구조 재현에 심각하게 어려움을 겪고 있으며, 3D 네이티브 에이전틱 기술의 발전 여지가 크다.