首页 > 解决方案 > 如何过度分配作业或“回收” SLURM 分配,以便它也可以被另一个作业使用?

问题描述

我有某种用 Python 编写并使用 SLURM 的 Master-Worker 系统,其中:

  1. Master 通过 SLURM 在 HPC 的一个节点上启动
  2. 大师计算了一下
  3. Master 通过 SLURM 在其他 HPC 节点上启动作业
  4. Master 保持活动状态以监视所有当前作业的结束(如果为真,则转到 1。)

目前在第 2 步和第 3 步之间。Master 只是在等待一批作业完成,我想避免计算资源的少量浪费。

我想重新使用 Master 的分配,目前有点浪费,以便 Master 的分配可以承担我当前在第 2 步提交给其他 HPC 节点的一些作业。

我怎样才能“回收”主的分配让一些工作在那里运行?

目前,Python(主)脚本知道它的作业名称和作业 ID。从那里,如何检索此分配的“规格”并在那里“过度分配”另一个工作?

标签: python-3.xhpcslurmmaster-slave

解决方案


推荐阅读