deep-learning - TF Lite 优化

Question

我尝试使用 ONNX 将我的 Pytorch 模型转换为 TensorFlow Lite。但是我使用 TensorFlow Lite 的推理时间是 Tensorflow 和 Pytorch 的两倍。我在其中运行 TensorFlow Lite 模型google colab，这是我第一次使用 TensorFlow Lite。

这是我从 Tensorflow 转换为 TensorFlow Lite 的代码：

converter = tf.lite.TFLiteConverter.from_saved_model("model/")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]
model_lite = converter.convert()

with open('model.tflite', 'wb') as f:
    f.write(model_lite)

任何建议都会对我有很大帮助。

标签： deep-learningtensorflow-liteonnx

Answer 1

TensorFlow Lite 模型应该在嵌入式设备上快速运行。所以你必须在安卓手机中使用它来找出时间。Colab notebook 不会给你正确的时间。

您还可以使用基准工具来测量稳态的推理时间。