apache-spark - Spark 集群未使用所有执行程序

Question

我正在尝试优化 Spark 中长期运行的作业，似乎无论集群运行多少个执行器，该作业仍然需要大约 3 个小时才能完成。

检查了 Ganglia UI，我看到有空闲的执行程序（！）

集群设置：

1. 带有 EMR 集群的纱线 + 火花
2. 1个主+ 4个工人
3. 实例类型：r5d.4xlarge 16 核 + 128GB 内存 + 2 x 300 NVMe SSD
4. PySpark +脚本内的多线程

我究竟做错了什么？

火花配置：

spark.executor.memory: 70G
spark.executor.cores: 70
spark.rdd.compress : false
spark.io.compression.codec : org.apache.spark.io.SnappyCompressionCodec
spark.io.compression.snappy.blockSize : 32768
spark.serializer : org.apache.spark.serializer.KryoSerializer
spark.kryo.referenceTracking : true
spark.kryo.registrationRequired : false
spark.hadoop.validateOutputSpecs : false
spark.memory.fraction: 0.7
spark.memory.storageFraction: 0.5
spark.scheduler.allocation.file: /home/hadoop/fairscheduler.xml
spark.scheduler.mode: FAIR
spark.cleaner.referenceTracking.blocking: false
spark.cleaner.periodicGC.interval: 3min
spark.task.cpus: 2
spark.executor.instances: 4
spark.yarn.executor.memoryOverhead: 45000
spark.default.parallelism: 64
spark.sql.shuffle.partitions: 64
spark.speculation: false
spark.speculation.multiplier: 5
spark.speculation.quantile: 0.80
spark.speculation.interval:  1000ms

此外，尝试重新分区数据框，它没有帮助。

dataframe = load_raw_data(reader, id).repartition(64)

标签： apache-sparkhadooppysparkhadoop-yarn