时间戳

首页 > 解决方案 > 将参数传递给 slurm 脚本

arrays - 将参数传递给 slurm 脚本

问题描述

我正在使用 slurm 脚本在集群上运行用于 Matlab 计算的数组。每个脚本都使用一个数组来循环一个 matlab 参数。

1）是否可以创建一个shell脚本来循环另一个变量？
2) 我可以将变量传递给 slurm 脚本吗？

例如，我的 slurm 文件目前看起来像 

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";

我经常需要运行这个数组来处理许多不同的文件。这意味着我将提交作业（sbatch exampleScript.slurm），编辑文件，将“Person24”更新为“Person25”，然后重新提交作业。当我有大量文件要处理时，这非常低效。

我可以制作一个将变量传递给 slurm 脚本的 shell 脚本吗？例如，像这样：

外壳脚本 (myshell.sh)

#!/bin/bash
for ((FNUM=24; FNUM<=30; FNUM+=1));
do
     sbatch myscript.slurm  >> SOMEHOW PASS ${FNUM} HERE (?)
done

Slurm 脚本 (myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop -nodisplay r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=[${FNUM}]; myfunction(frame, filename);";

我可以使用 sbatch myshell.sh 之类的东西有效地提交所有作业

谢谢！

标签： arraysbashmatlabslurmsbatch

解决方案

为了避免可能与 shell 和环境变量发生名称冲突，在 Bash 脚本中始终使用小写或混合大小写变量是一个好习惯。

你快到了。您只需将变量作为参数传递给第二个脚本，然后根据位置参数将其提取到那里。在这种情况下，您似乎只传递了一个参数，因此$1可以使用。在其他情况下，对于多个固定数量的参数，您也可以使用$2,$3等。对于可变数量的参数，“$@”会更合适。

外壳脚本 (myshell.sh)

#!/bin/bash
for ((fnum=24; fnum<=30; fnum+=1))
do
     sbatch myscript.slurm "$fnum"
done

Slurm 脚本 (myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128

fnum=$1

...
matlab -nodesktop -nodisplay r "frame=[${slurm_array_task_ID}]; filename=[${fnum}]; myfunction(frame, filename);";

对于处理各种超时条件，这可能有效：

A=$(sbatch --parsable a.slurm)

case $? in
    9|64|130|131|137|140)
        echo "some sort of timeout occurred"
        B=$(sbatch --parsable --dependency=afternotok:$A a.slurm)
        ;;
    *)
        echo "some other exit condition occurred"
        ;;
esac

您只需要决定要处理哪些条件以及如何处理它们。我列出了所有似乎涉及超时的问题。

推荐阅读