apache-spark - 如果会话停止，Spark 上下文会发生什么情况？

Question

spark如果我停止一个名为的现有 Spark 会话spark.stop()，它的上下文会发生什么？是不是也自动杀了？我问是因为我接管了一些代码，上面写着：

spark.stop()
sc.stop()

我想知道我是否需要第二个命令。

标签： apache-spark

Answer 1

感谢如何检查 SparkContext 是否已停止？我找到了方法isStopped，如果我运行

spark.stop()
spark.sparkContext.isStopped

它返回“真”。因此，似乎停止会话也会停止上下文，即我的第一篇文章中的第二个命令是多余的。

请注意，在 PysparkisStopped中似乎不起作用：“'SparkContext' 对象没有属性 'isStopped'”。我用 Spark Scala 进行了检查。