apache-spark - spark应用程序中的作业已完成，但我仍然看到状态为正在运行，为什么？

Question

我正在运行一个完成所有工作的 spark 应用程序，但这个工作纱线集群门户的状态仍然是 RUNNING（超过 30 分钟）。请让我知道为什么会这样。

显示我的作业已完成的 Spark UI

Spark 应用程序状态仍在运行

标签： apache-spark

Answer 1

我在 K8S 上运行 Spark 2.4.8 时遇到了同样的问题，我不明白为什么，但我通过手动停止上下文来解决它

spark.sparkContext.stop()