时间戳

首页 > 解决方案 > 与 keras h5 模型（VGG16 预训练）相比，Tensorflow lite 模型推理非常慢

python - 与 keras h5 模型（VGG16 预训练）相比，Tensorflow lite 模型推理非常慢

问题描述

与 keras (h5) 模型相比，Tensorflow lite 预测非常慢。Colab 和 Windows 10 系统上的行为相似。我将标准 VGG16 模型转换为 tflite 优化和不优化（converter.optimizations = [tf.lite.Optimize.DEFAULT]）

这是我得到的结果：

我在这里错过了什么吗？tflite 不应该针对速度进行优化吗？Raspberry Pi 或其他“更轻”的设备上的行为会有所不同吗？

链接到 colab 上的代码

标签： pythontensorflowkeras

解决方案

TensorFlow Lite 没有针对桌面/服务器进行优化，因此它在这些环境中对大多数模型表现不佳也就不足为奇了。TFLite 的优化内核（包括他们的许多 GEMM 操作）特别适用于移动 CPU（其指令集与桌面 CPU IIUC 不同）。

标准 TensorFlow 更适合您的用例。

推荐阅读