首页 > 解决方案 > 如何在 dask-yarn 中配置 nthreads

问题描述

nthreads vs ncores问题之后,我们想在yarn 集群 API中定义每个 worker 的线程数。

dask yarn CLI 文档 中有一个选项来定义线程数。
但是在API 文档中我们找不到参考(只有定义的选项worker_vcores)。

任何援助将不胜感激。

标签: hadoop-yarndask

解决方案


我相信 dask-yarn 将默认为每个工人的 vcore 数量nthreads——vcores这是纱线社区更熟悉的术语。

在 CLI 的帮助中:

线程数。默认为“容器”中的 vcore 数


推荐阅读