apache-spark - 在 spark shell 中获取 spark 驱动程序内存的命令是什么

Question

我知道可以通过 spark-env.sh 文件获取与火花相关的配置，但是从 spark-shell 获取它的命令是什么？例如获取 spark.driver.memory 我应该使用

set spark.driver.memory 

以上不工作

标签： apache-spark

Answer 1

您可以在启动 spark-shell 时将内存作为配置提供

spark-shell --conf spark.driver.memory=2g

这将启动一个带有 2g 驱动程序内存的 spark shell。为了在 spark shell 中访问它，您可以执行以下操作。

val conf = sparkContext.getConf
val driverMemory = conf.get("spark.driver.memory")

这将返回String = 2g。