YOLO upgrade inference time (1) 썸네일형 리스트형 GPU 가속을 위한 TensorRT 7.0.0, tkDNN 환경 구축하기(feat. cmake업그레이드) 해당 문서는 GPU 연산 가속화를 위한 TensorRT+tkDNN 환경을 구축하기 위한 포스팅입니다. TensorRT는 Nvidia에서 만든 딥러닝 추론 최적화 라이브러리이다. 기존 딥러닝 모델을 구조적으로 개선해서 추론 성능을 향상시키는 라이브러리. Nvidia의 GPU와 CUDA를 사용하면 어디에든 적용 시킬 수 있기 때문에, 앞서 설치했었던 Nvidia jetson시리즈 에도 모두 적용하여 성능을 올릴 수 있다는 장점이 있다. tkDNN은 앞에 있는 TensorRT환경의 모델의 연산 방법을 Float32, Float16, Int8 자료형을 이용하여 연산을 시켜줄 수 있는 라이브러리 이다. 자료형 변환이 중요한 이유는 GPU연산의 부담을 확 줄여 메모리 사용량이 줄어듬과 동시에 연산량이 적어지는 만큼.. 이전 1 다음
