python - 一起使用 Snakemake 和 Dask 有意义吗？

Question

我有一个 Snakemake 工作流程，我一直在使用它来训练 DL TensorFlow 模型。在高层次上，有一些运行时间较长的作业（模型训练）可以并行运行。我想在云上运行这些，这dask-cloudprovider似乎是一个很有前途的选择，因为我可以在 ECS 上轻松利用 GPU。但是，要做到这一点，我是否必须使用 Dask 函数（也许dask delayed）重写我的工作流程？或者有什么方法可以让 Snakemake 使用 Dask？

标签： pythonamazon-web-servicesdasksnakemake

Answer 1

如果你在网络上搜索“dask snakemake”，你会发现一个 2017 年的 Github 问题，你可能想通读一遍。这当然是可能的，但需要有人编写集成。

您可能还想尝试 Dask 与 Airflow 的集成，或者更现代一点的 Prefect 库。