python - 如何使用 GPU 使用 tf.lite.Interpreter（在 python 中）运行 tflite 模型（*.tflite）？

Question

根据https://www.tensorflow.org/lite/convert的说明，我已将 tensorflow 推理图转换为 tflite 模型文件 (*.tflite) 。

我在我的 GPU 服务器上测试了 tflite 模型，它有 4 个 Nvidia TITAN GPU。我使用 tf.lite.Interpreter 来加载和运行 tflite 模型文件。

它就像以前的张量流图一样工作，但是问题是推理变得太慢了。当我检查原因时，我发现 tf.lite.Interpreter 运行时 GPU 利用率仅为 0%。

有什么方法可以运行 tf.lite.Interpreter 并支持 GPU 吗？

标签： pythontensorflowinterpretertensorflow-lite

Answer 1

https://github.com/tensorflow/tensorflow/issues/34536

CPU 对于 tflite 来说已经足够好了，尤其是多核。

nvidia GPU 可能未针对用于移动 GPU 平台的 tflite 进行更新。