python - 如何在 Tegra X2 上使用 TesnorFlow-GPU 模型进行推理?
问题描述
我是 Jetson tegra x2 板的新手。
我计划在 TX2 板上运行我的 tensorflow-gpu 模型,看看它们在那里的表现如何。这些模型在 GTX GPU 机器上进行训练和测试。
在 tx2 板上,Jetpack full 中没有 tensorflow。所以需要构建/安装 tensorflow,我已经看过几个教程并尝试过。我的 python 文件 train.py 和 test.py 需要 tensorflow-gpu。
现在我怀疑,如果在 tx2 板上构建 tensorflow-gpu 是正确的方法吗?
哦,TX2 上有 Nvidia TensorRT,它可以完成部分工作,但是怎么做呢?对吗?
tensorflow 和 tensorRT 会一起取代 tensorflow-gpu 吗?但如何?那么我必须在我的火车和测试python文件中进行哪些修改?
我真的需要为 tx2 构建 tensorflow 吗?我只需要推断我不想在那里进行培训。
我研究了不同的博客并尝试了几种选择,但现在事情有点混乱。
我的简单问题是:
使用在 GTX 机器上训练的 TensorFlow-GPU 深度学习模型在 Jetson TX2 板上完成推理的步骤是什么?
解决方案
最简单的方法是安装 NVIDIA 提供的滚轮:https ://docs.nvidia.com/deeplearning/dgx/install-tf-jetsontx2/index.html
JetPack 已经安装了所有依赖项。
使用轮子安装 Tensorflow 后,您可以使用它,但在其他平台上使用 Tensorflow。对于运行推理,您可以将 Tensorflow 模型下载到 TX2 内存中,然后在其上运行 Tensorflow 推理脚本。
您还可以通过 TF-TRT 传递 Tensorflow 模型来优化它们:https ://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html 只有一个 API 调用可以进行优化:create_inference_graph (...) 这将优化 Tensorflow 图(主要通过融合节点),还可以让您构建较低精度的模型以获得更好的加速。
推荐阅读
- kotlin - Gradle,如何使用 Kotlin 库发布 jdk8 变体
- javascript - WebAuth 错误:未处理的拒绝(TypeError):无法在“CredentialsContainer”上执行“创建”:无法转换为字典
- typescript - 即使在检查之后,Typescript 也不会推断出对象已定义
- c# - 使用 Automapper 将一些属性从 TSource 映射到 Tdestination 而不会丢失旧的其他 Tdestination 对象属性值
- azure - 如何在 Azure Cosmos DB 中按日期对数据进行分组?
- pandas - 如何使用 np.savetext 转换熊猫数据框并保存到 csv?
- node.js - 无法在 postgres 中使用 sequlize 创建表
- reactjs - 将 Storybook CI 集成到 Azure CI/CD 以实现 React
- cypress - 如何在柏树中对表格的元素求和
- c++ - Eigen3 稀疏求解器断言失败