tensorflow - 如何使用 TensorRT 优化您的 TensorFlow 模型？

Question

这些是解决作业的指令吗？

1. 将您的 TensorFlow 模型转换为 UFF
2. 使用 TensorRT 的 C++ API 解析您的模型以将其转换为 CUDA 引擎。
3. TensorRT 引擎将自动优化您的模型并执行融合层、将权重转换为 FP16（或 INT8，如果您愿意）和优化以在 Tensor Cores 上运行等步骤。

谁能告诉我如何继续这项任务，因为我的笔记本电脑中没有 GPU，是否可以在 google colab 或 AWS 免费帐户中执行此操作。我必须安装哪些东西或软件包才能在我的笔记本电脑或谷歌 colab 中运行 TensorRT？

标签： tensorflowdeep-learninggputensorrt

Answer 1

导出 TensorFlow 模型并将其转换为.onnx文件。

然后，使用这个onnx-tensorrt工具进行 CUDA 引擎文件转换。