Tensorflow加速方法参考
1、使用Anaconda取代Python+pip
2、Estimator+tf.data
-
使用Estimator实现一切训练代码都用tf的api重写
-
prefetch
-
tf.data.Dataset在map（预处理）函数里有一个参数num_parallel_calls，给这个参数赋值就可以并行处理
3、使用TFRecord数据集格式加快数据集载入
4、TensorFlow官方发布剪枝优化工具
剪枝优化可以帮你缩小模型尺寸，以较小的代价进行推理。
权重剪枝（Weight Pruning）优化，就是消除权重张量中不必要的值，减少神经网络层之间的连接数量，减少计算中涉及的参数，从而降低操作次数。
这样做的好处是压缩了网络的存储空间，尤其是稀疏张量特别适合压缩。
此外，权重剪枝与量化（quantization）兼容，从而产生复合效益。
5、高性能深度学习支持引擎 —— TensorRT
NVDIA本着让大家能更好地利用GPU，使其在做深度学习训练的时候达到更好的效果的目标，推出了支持高性能深度学习支持引擎 —— TensorRT。