snakemake - 要求在snakemake 的文档中对“资源”和“线程”进行澄清

Question

我对资源和线程有疑问（从文档中我不清楚）。每个线程的资源是多少？

各种 HPC 作业提交系统就是这种情况。例如：这就是 LSF 的 bsub 上的工作方式：

• 如果我请求 64 个线程，每个线程 1024MiB，bsub 将调度一个有 64 个进程的作业，每个进程单独消耗 1024MiB，因此总共消耗 64GiB。

  （总内存可能在也可能不在同一台机器上，因为 64 个进程可能在也可能不在同一台机器上，具体取决于host[span=n]参数。对于 openMPI 使用，它很可能是 64 台不同的机器，每台机器都分配它自己的本地 1024MiB 块。但是有了host[span=1]，它将是一台具有 64 个线程和 64GiB 内存的单机）。

在查看 LSF 配置文件时，mem_mb 似乎只传递了单元版本，但从 ressources 到 bsub 的值相同， 因此，snakemake 和 LSF 似乎都假设total_memory = threads * mem_mb。

我只是想确保这个假设是正确的。

---

经进一步分析，jobs.py 中的资源核算与上述有联系。

提交错误请求

标签： snakemakelsf