dask - 查看 dask worker 的日志

Question

我无法更改 Dask 中的临时目录。当我出于某种原因更改 dask.yaml 中的临时目录时，Dask 仍在 /tmp 中写出（已满）。我现在想尝试调试它，但是当我使用时，client.get_worker_logs()我只得到 INFO 输出。

我开始我的集群

from dask.distributed import LocalCluster, Client

cluster = LocalCluster(n_workers=1, threads_per_worker=4, memory_limit='10gb')

client = Client(cluster)

我已经尝试添加distributed.worker: debug到distributed.yaml，但这不会改变输出。我还通过调用检查我实际上是在更改配置dask.config.get('distributed.logging')

我究竟做错了什么？

标签： daskdask-distributed

Answer 1

默认情况下，LocalCluster 会静音大多数日志记录。尝试传递silence_logs=False关键字

cluster = LocalCluster(..., silence_logs=False)