python - Google Coral Boards 是否有 TensorFlowServing 等价物？

语境

几天来，我一直在使用Google Coral USB 加速器，基于 MobileNet（此处的官方版本）和其他自定义模型（移植到 TensorFlow Lite）等经典模型对一些解决方案进行原型设计。另外，我正在使用这个库的 Python 版本。

我的目的是将我目前以传统方式（CPU + GPU）运行的解决方案移植到混合 CPU + Google Coral 方式，将推理委托给我的 Coral USB 记忆棒。

由于我的解决方案涉及推理的多个模型和并发需求，因此我使用Tensorflow Serving为原始部署中的模型提供服务。通过这种方式，我将并发处理委托给 TFS。

另一方面，我注意到我的设备似乎不支持并发，并且显然互斥不包含在tflite_runtime.interpreter我用来进行推断的类中。

我的问题

是否有 TensorflowLite、Google Coral 框架或一些社区项目级别的官方 API 可以解决我的问题，类似于 TFS 所做的？

否则我想我将被迫实现一些基于例如在这个使用 python 对象的开源项目中的客户端/服务器逻辑multiprocessing.Manager（见这里）。

提前非常感谢！

标签： pythontensorflowtensorflow2.0tensorflow-litegoogle-coral