python - 在 Raspberry Pi 上运行 TensorFlow 模型推理的首选方法是什么？

我想在Raspberry Pi (RPI)上运行卷积神经网络的模型推理。目前在云中运行模型不是一种选择。Tensorflow

我想有两种不同的方法可以做到这一点：

1)tensorflow直接在 RPi 上运行代码。（现在可以直接pip install tensorflow在 RPi 上，请参见此处。

ModelServer2）运行使用tensorflow serving（官方文档）的实例。

现在，我想要的是在 RPi 上运行的应用程序，它可以读取实时传感器数据（在我的情况下来自麦克风的音频）并运行分类算法。我认为查询 aModelServer将是首选选项（我什至不需要tensorflow在 RPi 上安装），但我无法在任何地方找到任何这样的示例。

有没有人有在 RPi 上部署 tensorflow 模型的经验/知识？

标签： pythontensorflowraspberry-pitensorflow-serving

您是正确的，查询 ModelServer 是首选选项 - 您可以放弃在 RPi 上安装 TensorFlow 的开销，并利用后端机器的计算资源（即托管 ModelServer 的任何东西的 GPU）。

TensorFlow 有一个RESTful API，它是一种轻量级的方法，可以从像 RPi 这样的物联网设备执行远程推理。您可以在后端机器上构建支持 REST 的 ModelServer，然后使用从 RPi 到分类算法的音频数据实时执行 POST 请求。

我找不到专门为音频设计的库的示例，但我的TensorFlow Distributed Image Serving库是使用此图像框架的示例。音频的整体概念几乎相同，但预处理和后处理会有所不同，具体取决于音频的编码方式。