android - TF lite 模型在使用 Androids NNAPI 时表现更差

Question

我在小米 MI9 上使用 TFLite Model Benchmark Tool 1对各种 tensorflow-lite 模型进行基准测试。我注意到，当我在 Android 神经网络 API 上启用推理时，许多模型的性能更差。

使用 NNAPI 时模型表现不佳的原因可能是什么？

我的猜测是，太大的模型无法在手机协处理器上正确执行，并且必须将数据来回发送到 CPU。

标签： androidtensorflowtensorflow-lite

Answer 1

最可能的原因在 Alex 建议的线程中，特别是如果您在 Mobilenet 等经过良好测试的标准模型中观察到这一点。