performance - 如何利用 R3 2X 大型 8 节点集群中的所有 vcore

Question

我的 Spark 工作总共只使用了 127 个 Vcor​​e 中的 32 个。请参考下图。

我的 spark-submit 命令是： spark-submit --executor-memory 12G --num-executors 32 --executor-cores 3 --conf spark.executor.memoryOverhead=1.5g

如何调整 spark-submit 参数以利用集群中的所有可用资源。

标签： performanceapache-sparkhadoop-yarnspark-submit