首页 > 解决方案 > 是否有一种高性能的方法可以在同一台机器上的 python 进程之间共享只读数据

问题描述

假设我有一个巨大的不可变数据集,表示为一个元组。假设这个数据集消耗了大部分工作内存,因此无法复制它。

python中有没有办法与同一台机器上的其他python进程共享该元组,例如:

  1. 数据不需要复制,无论是全部还是小部分
  2. 数据访问速度快,不依赖于 IPC,如套接字和管道
  3. 我不必将数据表示为 RAW 共享内存 - 即我可以继续将其用作元组
  4. 该表示保持不变性语义 - 即我不能轻易覆盖内存并破坏计算
  5. 理想情况下,它将是跨平台的,或者至少是 windows + linux。

标签: pythonmultiprocessingshared-memory

解决方案


推荐阅读