고해상도 3D 생성 비용 58% 줄인 위상 보존 기법 SILSA
원제 SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation
추천 19댓글 1
Key Point
기존 3D 생성의 계산 병목을 슬라이싱 윈도우 방식으로 획기적으로 줄이면서 위상 일관성도 높인 구조이므로, 3D 생성 모델을 개발하거나 최적화하려는 개발자에게 실질적인 대안을 제시한다.
핵심 요약
- 고해상도 3D 모델 생성에서 기존 복셀 토큰 방식은 연속 표면을 많은 로컬 토큰으로 분할해 비용이 크고 얇거나 복잡하게 연결된 형태의 위상 일관성이 약하다.
- SILSA는 슬라이싱 윈도우로 3개 축(x·y·z)을 따라 겹치는 슬라이스 집합으로 모양을 표현해 이 문제를 해결하는 방식이다.
- 각 토큰이 로컬 깊이 윈도우를 요약해 단면 연속성을 유지하고 단일 단계 생성을 지원한다.
- Slice VAE가 지향성 표면 샘플을 다축 슬라이스 잠재로 인코딩하고 희소 볼륨 디코더로 재구성하며, Volumetric Anchor Lattice가 방향성 슬라이스 스트림을 공유 3D 작업 공간에서 조율한다.
- 위상 보존을 위해 슬라이스 수준의 위상 감시를 도입했는데, 지속성 다이어그램 매칭과 인접 슬라이스 간 베티 전이 정렬을 수행한다.
- 기준 모델 대비 PSNR 8.7% 개선, 커버리지 5.96포인트 향상, 베티 오류 9.2% 감소를 달성했다.
- 토큰 사용량은 차순 컴팩트 기준선 대비 70%, 희소·계층적 토크나이저 대비 98% 이상 감소시켰다.
- 학습 메모리를 40.4% 줄이고 추론 시간을 58.5% 단축했으며, 얇은 구조와 반복 요소, 장거리 연결성 보존이 개선되었다.