apache-spark - 即使在 spark-defaults 中设置，也无法更改 spark.driver.memory

Question

我正在使用 Amazon EMR 集群，并且想要更改驱动程序堆内存。
我为集群提供了以下配置：

[{"classification":"spark-defaults",  
"properties":  
{"spark.executor.memory":"36g",   
 "spark.driver.memory":"36g",   
 "spark.driver.cores":"3", 
 "spark.default.parallelism":"174",  
 "spark.executor.cores":"3", 
 "spark.executor.instances":"29", 
 "spark.yarn.executor.memoryOverhead":"4g",   
 "spark.dynamicAllocation.enabled":"false"}}]  

但是，当我在 spark UI 中检查环境选项卡时，驱动程序内存仍然固定为 1000m，而其余部分设置正确。我究竟做错了什么？
我正在使用 10 个 r4.4xlarge 机器集群。
谢谢你。

标签： apache-sparkconfigurationpysparkcluster-computing