스트리밍 3D 재구성 모델 LingBot-Map 공개

핵심 요약

• Robbyant 팀이 실시간 3D 재구성을 위한 피드포워드 3D 기초 모델 LingBot-Map을 공개했다.
• Geometric Context Transformer 아키텍처를 통해 좌표 정렬, 기하 신호, 드리프트 보정을 단일 스트리밍 프레임워크로 통합했으며, 앵커 컨텍스트, 포즈 참조 윈도우, 궤적 메모리를 활용한다.
• 518×378 해상도에서 10,000프레임 이상의 긴 시퀀스에 대해 초당 약 20프레임 속도로 안정적인 추론이 가능한 고효율 스트리밍 추론을 제공한다.
• 기존 스트리밍 및 반복 최적화 기반 방식 대비 다양한 벤치마크에서 우수한 성능을 보인다.
• FlashInfer 백엔드를 사용한 페이징된 KV 캐시 어텐션으로 효율성을 극대화할 수 있으며, 설치하지 않으면 PyTorch 네이티브 SDPA로 자동 폴백된다.
• PyTorch 2.8.0 + CUDA 12.8 환경에서 설치하며, Hugging Face와 ModelScope에서 사전학습 모델(lingbot-map, lingbot-map-stage1)을 제공한다.
• 키프레임 간격 설정으로 KV 캐시 메모리를 줄일 수 있고, 320프레임 이상 긴 시퀀스에는 윈도우 모드(window_size 128)를 사용해야 한다.
• ONNX 스카이 세그먼테이션 모델을 사용한 스카이 마스킹으로 실외 장면의 재구성 품질을 개선한다.
• 오프라인 배치 렌더링 파이프라인(batch_demo.py)으로 비디오/이미지 폴더를 입력받아 단일 명령어로 추론과 MP4 비행 영상 생성이 가능하다.
• Kaolin과 CUDA 확장(voxel_morton_ext, frustum_cull_ext)을 사용한 GPU 복셀화 및 프러스텀 컬링으로 렌더링을 최적화한다.
• YAML 기반 카메라 경로 설정으로 follow, birdeye, static, pivot 모드의 다양한 샷을 커스터마이징할 수 있다.
• Apache License 2.0 하에 공개되며, ECCV 2026 논문 및 기술 보고서로 인용할 수 있다.