scala - spark关闭动态分配

Question

我想确保我的 spark 作业不会占用比我通过的内存更多的内存，假设 400GB 是作业可以使用的最大值，据我了解关闭动态分配 (spark.dynamicAllocation.enabled = false) 并通过 -- num-executors --executor-memory --driver-memory 在 Cloudera 堆栈中完成这项工作？如果错了就改正。

是否有任何其他设置我必须设置以确保火花作业不会超出限制。

标签： scalaapache-sparkhadoopcloudera

Answer 1

在我的工作中找到了一个解决方案 Cloudera 集群有一个特殊的纱线参数，它不会让作业超过必须关闭或重置它的特定限制。

https://community.cloudera.com/t5/Support-Questions/Yarn-memory-allocation-utilization/td-p/216290

https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/determine-hdp-memory-config.html