dask - Dask 调度程序限制 (fps)

Question

在https://distributed.dask.org/en/latest/actors.html#motivation我读到了the scheduler can coordinate about 4000 tasks per second。这真的是调度程序的上限，还是可以以某种方式增加？我要求一个用例，我有一个 Dask 分布式计算图，处理图像数据。图像是逐帧处理的，所以我假设每一帧都算作（至少）1 个任务？

那么我可以推断出Dask集群的上限是每秒4000帧吗？

感谢您提供任何帮助/信息/解决方法！

标签： daskdask-distributed

Answer 1

这真的是调度器的上限吗

今天，是的。

所以我假设每一帧都算作（至少）1个任务？

不一定，您可以通过多种方式组织事物。大多数 Dask 集合，如 Dask 数组、Dask dataframe 和 Dask bag，会自动为您批处理。

请参阅https://docs.dask.org/en/latest/best-practices.html#avoid-very-large-graphs