apache-spark - 如果无法获取纱线容器，则配置参数以终止 spark 作业
问题描述
在通过 spark-submit 提交作业时，我们是否可以传递一个 spark 配置参数，如果它在给定时间内没有获取容器，它将杀死/失败作业？例如，如果作业请求了 8 个纱线容器，但 2 小时内无法分配，那么作业会自行终止。
编辑：我们有脚本在集群上启动 spark 或 MR 作业。这个问题不是 MR 作业的主要问题，因为即使有 1 个容器可用，它们也可以启动。此外，MR 作业需要更少的内存，因此它们的容器可以更小，因此集群中有更多的容器可用。
解决方案
推荐阅读
- google-apis-explorer - Youtube googleapis.com/youtube/v3/channels 今天停止为我工作
- ios - 将类对象传递给另一个类错误
- r - is.error() 找不到功能什么是 Rpackage：R 异常处理
- r - 数据集 %>% rename(!!vars) 在 R 中是什么意思？
- php - php for循环中的html表单-编辑/删除按钮
- google-cloud-platform - 我可以通过 services.skus.list 方法计算账单价格吗？
- wordpress - 使用我的计算机中已有的 Installer.php 文档发布 WordPress 文档
- deep-learning - conv1d pytorch 如何对一系列字符或帧进行操作？
- amazon-web-services - 如何使用 CloudFront 从 AWS S3 安全地播放 .m3u8 流文件？
- scala - 将 scala.xml.Elem 列表取消列出到单个 scala.xml.Elem