NVIDIA DLSS 5를 Vulkan으로 완벽 복제한 오픈소스 프로젝트
원제 OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network
125 포인트댓글 69
Key Point
GPU 가속 렌더링에서 NVIDIA의 독점 기술을 오픈소스로 복제한 것으로, 게임 엔진이나 그래픽 애플리케이션 개발자들이 DLSS 기술의 동작 원리를 이해하고 커스터마이징할 수 있는 길을 열었다.
핵심 요약
- NVIDIA DLSS 5 신경망 렌더링 네트워크를 Vulkan으로 재구현한 OpenDLSS-NR 공개했으며, 원본과 바이트 단위로 정확하게 일치한다.
- 빌드 310.8.0의 71개 블록 Swin/ViT 신경망과 동일하며, 텐서 코어에서 FP8로 실행되고 75개 블록 경계의 중간 데이터까지 모두 일치한다.
- WebGPU 포트도 제공하는데 브라우저에서 동작하며 텐서 코어나 FP8 없이도 동일한 바이트를 생성한다.
- U자형 시프트 윈도우 트랜스포머 블록 71개로 구성되며, 6개 풀링 레벨, FP8 활성화, FP16 누적, 141 MiB 가중치를 사용한다.
- 생성형 신경 렌더링 네트워크로 엔진이 이미 그린 프레임을 재렌더링하며, 노이즈 주입과 톤·구조·스킨 조정으로 디테일을 생성한다.
- 입출력 해상도가 동일하므로 업스케일러가 아니다.
- RTX 4070 SUPER에서 768x768 2.8ms, 1920x1080 7.8ms, 2560x1440 12.6ms, 3840x2160 29.3ms 성능을 낸다.
- GLSL 참조 구현과 PTX 커널 생성기를 포함하며, Filament 렌더러 통합 데모와 glTF 씬 지원이 포함된다.
- Windows, NVIDIA Ada 이상 GPU, VK_KHR_cooperative_matrix 등 확장 지원이 필요하다.
- NVIDIA 소유 소프트웨어나 가중치 없이 구현되었으며, MIT 라이선스로 공개된다.