AI가 3D 코드로 가상 세계를 만드는 생태계 공개
원제 3DCodeVerse: Exploring 3D Worlds as Code
추천 107댓글 2
Key Point
AI가 코드 기반으로 3D 콘텐츠를 자동 생성하고 검증하는 체계가 갖춰지면서, 대규모 3D 세계 창작의 자동화가 실질적으로 가능해지는 시점을 보여준다.
핵심 요약
- Hugging Face 연구팀이 3DCodeVerse를 공개했다. 이는 AI 코딩 에이전트가 대규모로 3D 콘텐츠를 생성하고 편집할 수 있는 연구 생태계다.
- 3DCodeVerse-2M이라는 대규모 데이터셋을 구축했으며, 이는 오픈소스 3D 코드 200만 개로 이루어져 있다. 각 프로그램은 실행에 필요한 소스 파일과 에셋, 설명, 검증 기록이 함께 패키징되어 있다.
- 3DCodeVerse Harness라는 다중 에이전트 DAG 프레임워크를 개발했다. 이는 3D 콘텐츠를 생성하고 개선하며, 실행 검사, 공간 측정, 시각 피드백으로 인간의 개입 없이 자동 평가와 수정을 수행한다.
- 이 데이터셋으로 오픈소스 모델을 미세조정하면 3D 코딩 능력이 크게 향상됨을 확인했다.
- 3DCodeVerse Harness는 Claude Opus 3.5를 사용할 때 Claude Design (3D Object)을 상대로 페어와이즈 인간 평가에서 90% 승률을 달성했다.