时间戳

首页 > 解决方案 > 在 HPC 集群上使用 dask 分配大量作业的策略

python - 在 HPC 集群上使用 dask 分配大量作业的策略

问题描述

我有一个相当复杂的 python 算法，我需要在 HPC 集群中分发。

代码从具有 60 GB 内存的 Jupyterhub 实例运行。PBS集群的配置是1个进程，1个核心，每个worker 30Gb，nanny=False（否则计算不会运行）总共26个worker（总内存约726GB）

我不需要取回任何数据，因为所需的数据在计算结束时已写入磁盘。请注意，独立运行时，每个计算大约需要 7 分钟。

我遇到的问题如下：每个独立工作人员（工作名称：dask-worker）似乎运行良好，它有大约 20Gb 可用，其中最大 5Gb 被使用。但是每当我尝试启动超过 50 个工作时，中心工作人员（工作名称：jupyterhub）会在大约 20 分钟后耗尽内存。

这是我分配计算的方式：

def complex_python_func(params):
    return compute(params=params).run()

然后我尝试使用 client.map 或延迟：

list_of_params = [1, 2, 3, 4, 5, ... n] # with n > 256

# With delayed
lazy = [dask.delayed(complex_python_func)(l) for l in list_of_params]
futures = client.compute(lazy)
# Or with map
chain = client.map(complex_python_func, list_of_params)

这是集群的配置：

cluster = PBSCluster(
    cores=1,
    memory="30GB",
    interface="ib0",
    queue=queue,
    processes=1,
    nanny=False,
    walltime="12:00:00",
    shebang="#!/bin/bash",
    env_extra=env_extra,
    python=python_bin,
)
cluster.scale(32)

我不明白为什么它不起作用。我希望 Dask 运行每个计算然后释放内存（每个单独任务大约每 6/7 分钟）。我使用 qstat -f jobId 检查了工作人员的内存使用情况，并且它一直在增加，直到工作人员被杀死。

是什么导致 jupyterhub 工作人员失败，实现这一目标的好（或至少更好）方法是什么？

标签： pythondaskhpcdask-distributeddask-delayed

解决方案

两个潜在的线索是：

  1. 如果工作人员不希望返回任何东西，那么可能值得将 return 语句更改为return None（不清楚compute()脚本中的内容）：
 def complex_python_func(params):
    return compute(params=params).run()
  1. 可能会dask为每个工人分配一个以上的工作，并且在某些时候，工人的任务比它可以处理的要多。解决此问题的一种方法是减少工作人员在任何给定时间可以使用 执行的任务数量resources，例如使用：
# add resources when creating the cluster
cluster = PBSCluster(
    # all other settings are unchanged, but add this line to give each worker
    extra=['--resources foo=1'],
)

# rest of code skipped, but make sure to specify resources needed by task
# when submitting it for computation
lazy = [dask.delayed(complex_python_func)(l) for l in list_of_params]
futures = client.compute(lazy, resources={'foo': 1})
# Or with map
chain = client.map(complex_python_func, list_of_params, resources={'foo': 1})

有关资源的更多信息，请参阅文档或此相关问题Specifying Task Resources: Fractional gpu

推荐阅读