python - 是否可以在 SBATCH 进程之间使用共享变量？

Question

我正在使用一个非常大的文件（1500 万行，所以 ~44Go）进行 ML/NLP 项目。

我必须启动 28 个需要加载这个非常大的文件的体验。[...] 我不想在我的 RAM 中加载 28*44=1.232To ，而是喜欢使用共享变量，所以每次我需要处理这个文件时，我都可以重用同一个变量。

我正在使用slurm/SBATCH和Python开发一个集群，你认为可以在这些进程之间共享一个变量吗？

标签： pythonslurmsbatch