apache-spark - [解决] spark上下文已经停止，驱动正在重启。您的笔记本将自动重新附加

Question

如果您的笔记本或潜水员程序因以下错误而被杀死

代码

from pyspark.sql import SparkSession
def main():
    spark_sess = SparkSession.builder.appName('app_name').config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension").config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog").getOrCreate()
    print("hello")
    spark_sess.stop()


if __name__ == '__main__':
    main()

错误：

The spark context has stopped and the driver is restarting. Your notebook will be automatically reattached

标签： apache-sparkdatabricks

Answer 1

请检查您是否正在执行任何操作。

1. spark_context.stop()
2. 集群内存

当我们在数据块中运行任何东西时，我们不应该停止 spark 上下文。