본문 바로가기

tensorrt

(2)
Tensorflow 1.14 에 TensorRT 설치 하기(feat. bazel builder) Tensorflow 1.14 버젼에서 TensorRT 환경을 셋팅하기 위한 문서 입니다. 주의 사항 : TensorRT가 설치되어 있는 환경에서 진행, numpy 버젼 1.19.0 미만 TensorRT 설치 (아래 링크 이용) 2020/07/30 - [잡다한 것] - GPU 가속을 위한 TensorRT 7.0.0, tkDNN 환경 구축하기(feat. cmake업그레이드) GPU 가속을 위한 TensorRT 7.0.0, tkDNN 환경 구축하기(feat. cmake업그레이드) 해당 문서는 GPU 연산 가속화를 위한 TensorRT+tkDNN 환경을 구축하기 위한 포스팅입니다. TensorRT는 Nvidia에서 만든 딥러닝 추론 최적화 라이브러리이다. 기존 딥러닝 모델을 구조적으로 개선해서 추�� keyog..
GPU 가속을 위한 TensorRT 7.0.0, tkDNN 환경 구축하기(feat. cmake업그레이드) 해당 문서는 GPU 연산 가속화를 위한 TensorRT+tkDNN 환경을 구축하기 위한 포스팅입니다. TensorRT는 Nvidia에서 만든 딥러닝 추론 최적화 라이브러리이다. 기존 딥러닝 모델을 구조적으로 개선해서 추론 성능을 향상시키는 라이브러리. Nvidia의 GPU와 CUDA를 사용하면 어디에든 적용 시킬 수 있기 때문에, 앞서 설치했었던 Nvidia jetson시리즈 에도 모두 적용하여 성능을 올릴 수 있다는 장점이 있다. tkDNN은 앞에 있는 TensorRT환경의 모델의 연산 방법을 Float32, Float16, Int8 자료형을 이용하여 연산을 시켜줄 수 있는 라이브러리 이다. 자료형 변환이 중요한 이유는 GPU연산의 부담을 확 줄여 메모리 사용량이 줄어듬과 동시에 연산량이 적어지는 만큼..