apache-spark - 为什么我不需要在 Databricks 中创建 SparkSession？

Question

为什么我不需要在 Databricks 中创建 SparkSession？配置集群时是否会自动创建 SparkSession？还是别人为我做的？

标签： apache-sparkdatabricks

Answer 1

这仅在笔记本中完成，以简化用户的工作并避免他们指定不同的参数，其中许多不会有任何效果，因为 Spark 已经启动。此行为类似于您在开始时得到的行为spark-shell或pyspark- 它们都初始化SparkSessionand SparkContext：

Spark context available as 'sc' (master = local[*], app id = local-1635579272032).
SparkSession available as 'spark'.

但是，如果您将 jar 或 Python Wheel 中的代码作为作业运行，那么您有责任创建相应的对象。