时间戳

首页 > 解决方案 > 如何在本地集群中动态添加工作人员

dask - 如何在本地集群中动态添加工作人员

问题描述

我有一个本地集群。如何使用 Client 对象将更多工作人员添加到此本地集群。

标签： daskdask-distributed

解决方案

您不会对 Client 对象执行此操作，而是使用 Cluster。然后使用cluster.scale(...)：

In [1]: from dask.distributed import Client, LocalCluster

In [2]: cluster = LocalCluster()

In [3]: client = Client(cluster)

In [4]: client
Out[4]: <Client: 'tcp://127.0.0.1:37971' processes=12 threads=96, memory=1.62 TB>

In [5]: cluster.scale(20)

In [6]: client
Out[6]: <Client: 'tcp://127.0.0.1:37971' processes=20 threads=160, memory=2.70 TB>

您还可以查看自适应缩放：https ://docs.dask.org/en/latest/setup/adaptive.html

推荐阅读