对使用TensorRT加速AI深度学习推断效率的探索

本文对使用Tensor RT对目前流行的人工智能框架训练的神经网络模型的优化做了初步探索。目前基于人工智能的应用呈现爆炸式增长,图像识别、语音识别,自然语言处理、图像检索等功能已经成了人们日常必须的工具,随之而来对人工智能的推理效率和响应速度则提出更高要求。本文结合英伟达(n Vidia)的Tensor RT 3引擎和面向无人智能化的Jetson TX2平台,对以上问题的解决做了初步尝试。