apache-spark - 我们可以在创建 spark 会话后更改 spark.dynamicAllocation.minExecutors 吗？

Question

我是 Apache Spark 的新手，我正在阅读有关为 spark 会话设置不同配置的信息。我的问题是，如果我们在构建 spark 会话时设置执行程序内存怎么办，如果我们需要更多内存，我们可以在创建会话后更改它吗？

标签： apache-sparkpyspark

Answer 1

除非您重新启动 Sparkconext。迄今为止，我从未这样做过。

YARN 动态资源分配可以改变某些事情，但这不在您的明确控制范围内。