python - Python并行保存数据

Question

如果数据存储在驱动器上，我需要根据小输入和非常大的常量批量重复计算非常大的 python 数组。我可以通过拆分输入批量并加入响应来成功地并行化它。问题来了：将相同的数据批量发送到池中太慢了。此外，我需要双倍的内存。理想情况下，我会从文件中读取线程中的数据，并将其保存在那里以供多次重复使用。

我该怎么做？我只能考虑创建多个服务器来监听来自池的请求。不知何故，它看起来不自然地解决了相当普遍的问题。我错过了更好的解决方案吗？

最好的问候，弗拉基米尔

标签： pythonmultiprocessing