python - Dask DataFrame 中的客户端与 python | client.shutdown()

Question

我一直在使用dask ，当您处理具有高计算要求的大型脚本时，我有一个与客户端相关的问题

client = Client(n_workers = NUM_PARALLEL)
...
more code
...
client.shutdown()

我见过一些人在进程中间关闭客户端然后再次初始化它，这对速度有好处吗？

另一方面，工作人员内存不足，您知道将 dask 数据帧计算几次而不是最后只计算一次是否是一种好习惯，这可能超出了 pc 的性能容量.

标签： pythondataframeclientdask

Answer 1

我见过一些人在进程中间关闭客户端然后再次初始化它，这对速度有好处吗？

IIUC，对速度没有影响，启动调度程序/集群的时间可能会稍微变慢。唯一的一点好处是，如果您正在共享资源，那么关闭集群将释放资源。

另一方面，工作人员内存不足，您知道将 dask 数据帧计算几次而不是最后只计算一次是否是一种好习惯，这可能超出了 pc 的性能容量.

这实际上取决于 DAG，如果它减少了分区/任务的数量，特别是如果某些结果被多次计算，那么在中间步骤计算可能会有优势。