amazon-web-services - AWS Batch 在阵列配置中允许大约 25 个并发作业,而计算环境允许使用 256 个 CPU
问题描述
我正在使用 Fargate Spot 环境在 AWS Batch 上运行 Job Array。主要目标是尽快完成一些工作。因此,当我运行 100 个作业时,我希望所有这些作业都将同时运行。但其中只有大约 25 个会立即启动,其余的作业都在等待 RUNNABLE 状态。
作业在最大计算环境中运行。256 个中央处理器。每个作业使用 1 个 CPU 甚至更少。
我没有发现任何可以影响运行作业过程的限制或配额。
可能是什么原因?
解决方案
我与 AWS Support 进行了交谈,他们建议我在需要尽快处理大量作业时不要使用 Fargate。对于大规模作业处理,建议使用按需解决方案。
因此,在将 Provisioning 模型更改为 On-Demand 并发作业数增加到设置中确定的 CPU 限制后,这就是我所需要的。
推荐阅读
- scikit-learn - sklearn 使用 f_classif 并选择分数高于阈值的特征
- r - r shiny - 上传后显示数据框
- react-native - 如何始终在本机反应中显示键盘?
- c# - 在一个 DBContext 中处理多个模式
- azure - 在 Azure 中连接到 MirthDB
- phpmyadmin - 首次从 xamp 打开 phpmyadmin 时无法将标量值用作数组
- r - 如何在R中生成包含小数的数字序列
- sql - Sqlite3中两个日期之间的差异
- electron - 如何仅在 Mac 版 Electron 应用程序中使用某些代码行?
- bash - 带有分隔符的 Bash 脚本传递变量