parallel-processing - 在 Dask 中测量任务调度程序图的并行性

Question

如果我有一个大型自定义任务图输入 Dask，以及每个任务将花费的时间列表（例如，在最简单的情况下，每个任务可能花费相同数量的 CPU 秒/分钟），有没有办法计算如何“可并行化”问题出在图的结构上，而没有实际运行任务？假设与每个任务的时间相比，计算调度优先级等的时间可以忽略不计。

我正在考虑一个指标，要么绘制一段时间内使用的并行进程的数量（假设有无限数量的可用内核），要么绘制整个图表所需的小时数，给定固定数量的 CPU 内核。

如果不是这样，能够为任务调度程序提供这似乎是一件好事，特别是如果单个任务预计需要几分钟或几小时。但是，我想可能很难进行分析计算，具体取决于 Dask 中的基本任务分配算法。

标签： parallel-processingdaskschedulerschedulingdirected-acyclic-graphs