时间戳

首页 > 解决方案 > Dask Worker 配置文件和 Dask Scheduler 配置文件的正确位置在哪里？

dask - Dask Worker 配置文件和 Dask Scheduler 配置文件的正确位置在哪里？

问题描述

我正在尝试找到 Dask 配置文件的正确位置。我有许多与配置 Dask 相关的问题。

$ dask-worker --version
dask-worker, version 2.3.2

Dask Worker 和 Dask Scheduler 是共享相同的配置文件还是使用不同的配置文件？

我不清楚是否有特定于 Dask Worker 和 Dask Scheduler 的配置变量。是否有 Dask Worker 和 Dask Scheduler 的有效配置变量列表？

Dask Worker 和 Dask Scheduler 配置文件的正确位置在哪里？

我在我的系统和 Dask 文档中发现了三个不同的配置文件：

  1. ~/.config/dask/distributed.yaml
  2. ~/.config/dask/dask.yaml
  3. ~/.dask/config.yaml

在我的 Dask Worker 和 Dask Scheduler 机器上，我发现一个文件~/.config/dask/dask.yaml不包含太多信息。我不确定该文件应该包含什么内容，或者 Dask 库是否/在哪里调用过它。

我还看到一个~/.config/dask/distributed.yaml包含更多信息的文件。这看起来更像我期望的配置。我可以看到这些配置也是由 Dask 在distributed/config.py中加载的

第三个文件 ( ~/.dask/config.yaml) 出现在文档中。引用文档：

Dask 在配置文件中接受一些配置选项，默认情况下是位于您的主目录中的 .dask/config.yaml 文件。

我在我的系统上没有看到这个文件。我负责创建这个配置文件吗？我从未在存储库中看到此文件被引用。为什么文档与源代码不同？

我可以打印 Worker 和 Scheduler 的所有活动配置变量的列表吗？

有没有办法在命令行或 Python 中检查活动配置？

标签： daskdask-distributed

解决方案

有关 Dask 配置系统的文档，请参阅https://docs.dask.org/en/latest/configuration.html

该页面说：

通过以下方式之一指定配置：

  • YAML 文件~/.config/dask/或/etc/dask/
  • 环境变量如DASK_DISTRIBUTED__SCHEDULER__WORK_STEALING=True
  • 子库中的默认设置

我已删除您在此 PR 中查看的页面：https ://github.com/dask/distributed/pull/3038

推荐阅读