PyTorch 기반 미분 가능한 컴퓨터비전 라이브러리 kornia

핵심 요약

• PyTorch 위에 구축된 kornia는 1200개 이상의 미분 가능한 이미지 처리 및 기하학 알고리즘을 제공하는 컴퓨터비전 라이브러리다.
• 배치 변환, 자동 미분, GPU 가속을 통해 AI 워크플로우에 통합되며, torchvision에 없는 카메라 모델·에피폴라 기하·특성점 매칭·모폴로지 연산 등을 지원한다.
• 샘플당 매개변수를 배치 호출로 처리할 수 있어 가우스 블러의 시그마를 (B, 2) 텐서로, 회전각을 (B,) 텐서로 받으며 torchvision은 호출마다 한 매개변수만 적용한다.
• 배치 최소 제곱 솔버와 RANSAC 기반 강건 추정으로 기하학 문제를 풀고, 깊이·포즈·카메라 매개변수에 대한 그래디언트를 유지하는 미분 가능한 기하학을 제공한다.
• AugmentationSequential로 이미지·마스크·박스·키포인트에 같은 변환을 적용하고 반전할 수 있으며, CUDA에서 샘플된 매개변수를 동기화 없이 GPU로 옮긴다.
• SIFT·DISK·ALIKED·XFeat·LoFTR·LightGlue 등 로컬 특성점 모델이 GPU에서 동작하고, 거의 모든 연산이 torch.compile을 지원하며 1000개 이상이 ONNX 내보내기를 지원한다.
• RTX 4090 배치 32 벤치마크에서 많은 필터·워핑·특성점 매칭이 CPU의 OpenCV·scikit-image보다 eager 모드에서 10~70배, torch.compile 후 100배 이상 빠르다.
• kornia.color·filters·enhance·morphology는 float16과 bfloat16을 완전 지원하지만 kornia.augmentation과 기하학 모듈은 회전·워핑·카메라 모델 정밀도 문제로 부분 지원한다.
• 기여자 우선 과제는 벤치마크·테스트·오류 메시지 개선·카메라 보정·마커 인식·스테레오 비전 같은 고전 컴퓨터비전 작업에 집중하고 있다.
• AI 모델 동물원은 확장을 일시 중단했지만 LoFTR·LightGlue·DISK·DeDoDe·SAM 같은 기존 모델은 유지되며 새 통합은 유지보수자 스폰서를 요구한다.