마이크로소프트, 고품질 3D 생성 모델 TRELLIS.2 공개

핵심 요약

• 마이크로소프트가 40억 개 파라미터 규모의 이미지-to-3D 생성 모델 TRELLIS.2를 공개했다.
• O-Voxel이라는 새로운 '필드 프리' 희소 복셀 구조를 사용하여 복잡한 위상, 예리한 특징, 완전한 PBR 재료를 가진 3D 자산을 생성한다.
• 512³ 해상도에서 약 3초(2초 형상 생성 + 1초 재질 생성), 1024³에서 약 17초, 1536³에서 약 60초가 소요된다.
• 개방면(옷감, 잎), 비-다양체 기하학, 내부 폐곡선 구조 등 임의의 위상을 처리할 수 있다.
• 기본 색상, 거칠기, 금속성, 불투명도 등 PBR 표면 속성을 모델링하여 포토리얼한 렌더링과 투명도를 지원한다.
• CPU에서 텍스처 메시 변환이 10초 미만, CUDA에서 O-Voxel 역변환이 100ms 미만으로 최적화, 렌더링 및 최적화 없는 즉시 처리가 가능하다.
• Linux 환경, 24GB 이상 NVIDIA GPU(A100/H100 검증), CUDA 12.4(권장), Python 3.8 이상이 필요하다.
• Hugging Face에서 TRELLIS.2-4B 가중치가 제공되며, 512³~1536³ 해상도를 지원한다.
• 이미지-to-3D 생성, PBR 텍스처 생성, 형상 조건부 텍스처 생성 기능이 웹 데모와 예제 코드로 제공된다.
• Objaverse-XL 데이터셋으로 학습된 전체 학습 코드를 제공하며, 사용자가 사용자 정의 데이터셋에서 처음부터 학습하거나 미세 조정할 수 있다.
• O-Voxel 변환 라이브러리, FlexGEMM(Triton 기반 희소 합성곱), CuMesh(CUDA 메시 유틸리티) 등 고성능 패키지가 포함되어 있다.
• MIT 라이선스로 공개되며, nvdiffrast와 nvdiffrec 등 일부 의존성은 별도 라이선스를 따른다.