python - 这个命令是如何工作的？

Question

对不起，我是 python 的新手。在学习pyspark时，我遇到了这样的命令

sc = SparkSession.builder.config("spark.sql.warehouse.dir", "file:///C:/temp").appName("SparkSQL").getOrCreate()

我的疑惑很基础，我只想知道点运算符在上面的语句中是如何被多次使用的。据我所知，当一个函数位于多个级别的包中时，点运算符将被多次使用，例如

packagemain.subpackage1.subpackage2.function()

但在上面的陈述中，“SparkSession”似乎是一个类，“sc”是一个对象，其他的可能是函数。我只想知道它们是如何通过点运算符链接在一起的？系统如何解释上述语句？

标签： pythonpysparkpyspark-sql

Answer 1

Spark 配置文件是一系列键：值，以空格分隔，例如：https ://spark.apache.org/docs/latest/configuration.html

.config("spark.sql.warehouse.dir", "file:///C:/temp")

指配置对象，从被引用的文件构建，并寻找一个名为spark.sql.warehouse.dir

这只是一个字符串（或者更具体地说，配置文件中键的名称） - 与导入或任何类似内容无关。