distributed-computing - 等待所有具有给定名称的 LSF 作业,覆盖 JOB_DEP_LAST_SUB = 1
问题描述
我有一个大型计算任务,由几个步骤组成,我在由 LSF 管理的 PC 集群上运行。
此任务的一部分包括启动多个具有相同名称的并行作业。作业有些不同,因此很难将它们转换为作业数组。
这个计算的下一步,在这些工作之后,总结了它们的结果,因此它必须等到它们都完成。
像往常一样,我正在尝试使用-w ended(job-name)
bsub 的命令行开关来指定作业依赖项。
但是,集群的管理员已经JOB_DEP_LAST_SUB = 1
在 lsb.params 中进行了设置。
根据LSF 手册,这使得 LSF 只等待一个具有提供名称的最新作业完成,而不是所有作业。
是否可以仅在不要求管理员重新配置整个集群的情况下为我的任务覆盖此行为(此集群被很多人使用,他们不太可能同意)?
我在手册中找不到任何线索。
解决方案
看起来它不能被覆盖。
我通过附加随机值更改了作业名称以使其唯一,然后我将条件更改为-w ended(job-name-*)
推荐阅读
- java - 如何在 Java 中触发动态调度作业并取消它们?
- ruby-on-rails - 使用 assign_attributes 在父保存时销毁深层关联对象
- javascript - 在数组的映射上使用reduce来计算值之间的差异
- javascript - 下一个 api 和后端
- amazon-web-services - aws cloudwatch 日志洞察力 - 使用不同的正则表达式查询和计算多个日志
- scala - 我在 Spark-Scala 中有一个查询
- python - 如何在不使用库的情况下将字符串拆分为两个或更多新行?
- kdb - kdb+ 中 2 个向量的元素级联
- sql - 添加一个存储 JSON 数据的列
- javascript - Leaflet JS矩形仅在浏览器在引导模式导航选项卡上调整大小后才起作用