python-3.x - 使用 pyarrow 将 openCV 图像流式传输到多个进程

Question

我在 python 中使用 openCV 从相机加载视频流。我需要在这个流上做多个处理工作，例如，我可能想在图像中查找对象、进行边缘检测、颜色变化等，所有这些都在同一个流上。我想在许多过程中并行进行。最简单的解决方案是腌制图像帧并将它们发送到所有进程，但对于高质量的视频，这可能非常昂贵。

我想读取一个帧，用 pyarrow 将此帧存储在内存中，然后让每个进程访问内存中的同一帧以完成其技巧。然后阅读另一个框架，等等。几个问题：i）如何使用 pyarrow 从所有进程访问框架（我从文档中了解到这应该是可能的，无法弄清楚如何）；ii）如何确保在用另一个框架覆盖之前，所有过程都在框架上完成。

谢谢！

标签： python-3.xopencv3.0pyarrow

Answer 1

1. Plasma可能是开始共享数据的好地方。
2. 使用分布式工作人员进行图像替换/删除。没有一个答案，任何解决方案都会有权衡。您可以尝试使用像芹菜这样的东西作为起点。