apache-spark - 火花内存分数和执行程序内存开销？

Question

什么是“spark.executor.memoryOverhead”和“spark.memory.fraction”？

默认属性是什么

标签： apache-sparkapache-spark-sql

Answer 1

spark.memory.fraction参数可用于分别理解可用于存储的内存和可用于执行的内存。如果您在内存中缓存了太多对象，那么您将需要更多的存储空间（spark.memory.fraction可以是 0.5/0.6）。但是，如果您将内存用于主要执行目的，那么您需要可用于执行的内存（spark.memory.fraction可以是 0.2/0.3）。