apache-spark - 我怎样才能杀死卡住的工作而不杀死 Spark 中的应用程序？

Question

如上，我只想杀掉stage 1244，而不是杀掉应用程序。
如果我单击kill按钮，是否会杀死整个应用程序？
以及如何才能杀死我想要杀死的应用程序中的工作？

标签： apache-sparkpyspark

Answer 1

您突出显示的终止按钮将终止当前作业。然而：

• 如果这是一个交互式 Spark 会话（即运行 Jupyter notebook 或spark-shellor pyspark），那么应用程序将仍然存在。
• 如果这是一个非交互式 Spark 会话（即spark-submit），那么应用程序将与作业一起被终止，因为应用程序状态被视为失败。