apache-spark - 在 Databricks 中设置驱动程序内存配置

我正在研究 Azure 数据块。我的驱动节点和工作节点规格是：14.0 GB 内存，4 核，0.75 DBU Standard_DS3_v2。

我的 pyspark 笔记本因 Java 堆空间错误而失败。我在网上查了一下，一个建议是增加驱动程序内存。我正在尝试在笔记本中使用以下 conf 参数

spark.conf.get("spark.driver.memory")

获取驱动程序内存。但是我的笔记本单元失败并出现错误。

java.util.NoSuchElementException: spark.driver.memory

知道如何检查驱动程序内存并更改其值吗？

标签： apache-sparkpysparkazure-databricks

您可以在 Databricks 上设置集群时设置 spark 配置。当您创建集群并展开“高级选项”-菜单时，您可以看到有一个“Spark Config”部分。在此字段中，您可以设置所需的配置。

有关详细信息，您可以随时查看 Azure Databricks 的文档页面。