scala - 当一个纱线应用程序失败时，spark-submit 的退出代码在 unix 脚本中仍然是 0

问题描述

我正在使用 unix 脚本和 spark-submit 命令在 yark 上提交我的 spark 作业。我正在检查 unix 的 if else 块中 spark 作业的状态并抛出错误，但是我观察到，如果 spark 作业在 yarn 上失败或不完整，它仍然显示为成功并且 unix 脚本无法获得正确的作业状态和退出脚本。

我检查了堆栈溢出的其他答案，但无法获得所需的答案。

如果成功实施，任何人都可以帮忙。

标签： scalaapache-sparkunixhadoopspark-submit

scala - 当一个纱线应用程序失败时，spark-submit 的退出代码在 unix 脚本中仍然是 0

问题描述

解决方案

推荐阅读