[Ubuntu] CUDA, CUDNN에 대한 이해와 설치 방법

CUDA란?

CUDA(Computed Unified Device Architecture)는 NVIDIA에서 개발한 GPU 개발 툴로, 딥러닝에 많이 이용된다. C/C++ 기반으로 기초적 HW 접근을 지원하나 설치가 간편하고 많은 양의 연산을 동시에 처리할 수 있게 한다. (nvidia-driver, CUDA, CUDNN만 설치하면 됨)

GPU는 CPU에 비해 코어 개수가 상당히 많은 편이다. (CPU는 8-16개, CPU는 n천 개) 때문에 싱글코어, 멀티프로세스, 멀티스레드 등을 사용하지 않고, Many-Core Dependent 연산을 이용해야 한다.

CUDA는 CPU가 처리하였던 응용 프로그램의 계산(연산 작업)을 GPU에서 병렬처리가 가능하게 만들어 주는 기술이다. 메인 메모리를 GPU 메모리에 복사하고, CPU가 GPU에 프로세스를 지시, GPU가 각 코어에 병렬 작업을 수행하고 이 결과물을 메인 메모리에 복사하는 방식으로 작업이 수행된다.

 

CUDA 툴킷, 드라이버를 설치하기 전에는 아래 사항들을 확인해야 한다.

• GPU가 CUDA를 지원하는지
• 시스템이 지원되는 버전의 Linux인지
• GCC가 설치되어 있는지
• 올바른 커널 헤더와 개발 패키지가 설치되어 있는지
• NVIDIA CUDA 툴킷을 다운로드하고 충돌이 발생하지 않는지

나의 경우에는 연구실 서버를 사용하여 대부분의 드라이버가 설치되어 있었기 때문에, 별 문제 없이 넘어갔던 것 같다.

다만, CUDA의 경우 버전에 민감하여 사용하고자 하는 연구 플랫폼에 대해 맞는 버전을 사용해야 오류가 없을 것이다. (tensorflow, pytorch 등을 이용할 때의 버전 또는 nvidia-driver의 버전 모두 포함)

 

 

CUDNN이란?

CUDA 딥러닝 기술에 필요하다고 위에서 기술하였는데, 딥러닝 기술이 발전될 때 다양한 딥러닝 알고리즘을 쉽게 사용할 수 있도록 만들어진 오픈소스들이 대부분 NVIDIA의 CUDA 라이브러리를 이용한다. 이때 사용되는 의존 라이브러리가 CUDNN(CUDA Deep Nural Network Library)이다.

• GPU 가속화 라이브러리의 기초 요소로 컨볼루션, 풀링, 표준화, 활성화 등의 일반적 루틴을 빠르게 이행할 수 있도록 한다.
• Nural Network를 빠르게 최적화, 검증, 배포시킨다.
• tensorflow, pytorch와 같은 딥러닝 Framework를 가속화한다.

 

Installation

설명에 비해 설치는 아주 간단하다. 아래 명령어를 입력하면 CUDA와 CUDNN이 자동으로 설치된다.

$ apt install nvidia-cuda-toolkit

 

설치 확인 방법

CUDA 관련 시스템이 설치되었는지 확인하는 명령어이다. 이때 주의할 점은, nvidia-smi를 입력하였을 때의 cuda 버전은 지원 가능한(시스템 권장, 추천) 버전이 표시되기 때문에 nvcc -V의 버전과는 무관하다. 일반적으로 nvidia-smi의 버전이 nvcc -V의 버전보다 높거나 같다면 문제가 없다고 판단하면 된다.

# 1) nvidia-driver 설치 확인
$ nvidia-smi

# 2) cuda 설치 확인
$ nvcc -V

# 3) cudnn 설치 확인 (둘 중 하나)
$ ldconfig -N -v $(sed 's/:/ /' <<< $LD_LIBRARY_PATH) 2>/dev/null | grep libcudnn
$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2