PyTorch: GPU 가속 텐서 연산과 동적 신경망

핵심 요약

• PyTorch는 Python 기반 딥러닝 프레임워크로 GPU 가속을 통한 텐서 연산과 테이프 기반 자동미분 시스템을 제공한다.
• torch, torch.autograd, torch.nn, torch.multiprocessing, torch.utils 등 핵심 컴포넌트로 구성되어 있으며 NumPy 대체제 또는 딥러닝 연구 플랫폼으로 사용된다.
• CPU 또는 GPU에서 실행되는 텐서 라이브러리로 슬라이싱, 인덱싱, 선형대수 등 다양한 연산을 고속으로 수행하며 Intel MKL, NVIDIA cuDNN, NCCL 등 가속 라이브러리를 통합한다.
• 역모드 자동미분(reverse-mode auto-differentiation) 기술을 사용하여 네트워크 구조를 동적으로 변경할 수 있으며, 정적 그래프를 요구하는 TensorFlow나 Theano와 달리 유연성을 제공한다.
• Python 우선 설계로 NumPy, SciPy, scikit-learn과 자연스럽게 통합되며, Python으로 신경망 레이어를 작성하거나 C/C++ 확장 API를 통해 커스텀 모듈을 만들 수 있다.
• 명령형 프로그래밍 방식을 지원하여 코드 실행이 즉시 이루어지고 디버깅과 스택 트레이스 추적이 직관적이며, 최소한의 프레임워크 오버헤드로 빠른 성능을 제공한다.
• GPU 메모리 할당자를 커스터마이징하여 메모리 효율성을 극대화하고 더 큰 모델 학습을 가능하게 한다.
• Python 3.10 이상과 C++20을 지원하는 컴파일러가 필요하며, 초기 빌드에 30~60분이 소요된다.
• NVIDIA CUDA, AMD ROCm, Intel GPU 등 다양한 가속기를 지원하며, 각각에 대해 환경 변수로 활성화/비활성화할 수 있다.
• NVIDIA Jetson Nano, TX1/TX2, Xavier NX/AGX, AGX Orin 등 엣지 디바이스용 Python 휠이 제공되며 JetPack 4.2 이상 필요하다.
• Conda, pip, Docker, 소스코드 빌드 등 다양한 설치 방법을 지원하며 Docker는 CUDA 12.6과 cuDNN v9 지원으로 빌드된다.
• BSD 스타일 라이선스를 사용하며 GitHub에서 이슈 리포트, 기능 요청, 기여 등이 관리되고 PyTorch Slack 커뮤니티가 운영된다.