apache-spark - 从执行任务中停止整个 Spark 作业？
问题描述
假设我的一个执行程序任务遇到了它知道不可恢复的错误情况。例如，隐藏在输入数据集中某处的问题。task spark.task.maxFailures抛出异常会导致 Spark 驱动程序在完全放弃之前重试该任务几次（由属性控制）。每次尝试都会以同样的方式失败，浪费时间和资源。在这种情况下，我确定了一个我知道是 <GAME OVER> 并且不值得重试的条件。有没有办法从该执行程序任务中请求立即关闭整个作业？我希望重新尝试“正常”瞬态任务失败，所以我不能只设置spark.task.maxFailures=1.
解决方案
推荐阅读
- java - ApachePOI 从 RichTextString 中提取数字
- opencv - 卸载 opencv 但 pkg-config 仍然显示版本号
- pyspark - Converting multiple spark dataframe columns to a single column with list type
- python - PyQt 如何理解我们的类是从某些东西继承的？
- nginx - Nginx + Docker 容器
- keras - keras lstm层中的多个内核是什么意思？
- android - 如何在 Android（使用 NDK）和 ARM 处理器上使用 OpenCV C++ 应用程序
- git - Git：Mojave 更新后无法解析 bitbucket.org
- talend - 如何根据输入值的数量运行不同的子作业 Talend
- dsl - 调用“内爆”期间无法解释的 IllegalArgument