python - 工具，允许从池中计算任务并将任务动态添加到该池

我有几种不同类型的计算成本高昂的任务（平均核心小时数）。例如，让它成为 1) 对一长串数字进行排序和 2) 化学计算。我有这两个任务的函数（python 中的脚本），这些函数在 1 个核心上运行。

我想要一个任务池，我可以随时更新（添加新任务）。如果我有可用的核心，则所需的工具（可能是主进程）应该从池中获取任务并使用现有函数进行计算。如果池中没有任务 - 该工具应等待其到达。

需要强调的是，重要的要求是能够先运行并行化脚本，然后再添加任务。

如果我可以为任务分配优先级，那也很酷，但不是必需的。

我认为 MPI 可以在这里提供帮助，但我不太了解。如果您提供有关类似问题的教程链接或编写示例，那就太好了=）

标签： pythonparallel-processing