Tensorrt之tf-trt

2019/11/27 19:16
阅读数 1K

使用python接口, 另外一种方式就是使用tf-trt,优化后的模型还是pb。优化的过程主要是一些层的合并啊之类的,加速结果不是特别明显,测了两个网络,

加速了10%的样子。优化后仍是pb,因此可以继续用tfserving。

keras/tf model  -> pb model  ->(trt优化model)

 

或者已经是savedmodel,可直接通  saved_model_cli来转换,用于后续的tfserving

 

 

参考:

https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html#usage-example

https://github.com/srihari-humbarwadi/TensorRT-for-keras

https://github.com/jeng1220/KerasToTensorRT

https://github.com/NVIDIA-AI-IOT/tf_trt_models

https://github.com/WeJay/TensorRTkeras

https://github.com/tensorflow/tensorrt/tree/master/tftrt/examples/image-classification

https://github.com/srihari-humbarwadi/TensorRT-for-keras

https://github.com/NVIDIA-AI-IOT/tf_trt_models/blob/master/examples/classification/classification.ipynb

https://developer.ibm.com/linuxonpower/2019/08/05/using-tensorrt-models-with-tensorflow-serving-on-wml-ce/

 

讨论区

https://devtalk.nvidia.com/default/board/304/tensorrt/

 

其他还有C++端的接口,暂是没用到

https://zhuanlan.zhihu.com/p/85365075

https://zhuanlan.zhihu.com/p/86827710

http://manaai.cn/aicodes_detail3.html?id=48

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部