apache-spark - EMR 火花不尊重执行者配置的数量

Question

我将 --num-executor 与 EMR spark-submit 一起使用，但 conf 没有得到兑现。即使我设置了该作业，它也与多个执行者一起运行--num-executor 1。我尝试了不同的 EC2 实例类型，默认运行的执行器数量似乎因实例类型而异。

标签： apache-sparkamazon-ec2amazon-emrspark-submit

Answer 1

我猜动态分配是活跃的。您必须在 spark 配置中禁用此参数或发送 spark-submit 行，如下所示：

spark-submit --conf spark.dynamicAllocation.enabled=false --class ...