apache-spark - Apache Spark 中宽变换后的分区数

Question

宽变换期间和之后的分区数是否保持等于 shuffle.partitions 参数，或者在宽变换完成后它们是否返回原始分区？在宽变换期间，必须为所有 shuffle 分区分配一个任务？

标签： apache-sparkpysparkapache-spark-sql

Answer 1

是的，一旦完成宽变换，分区数就会恢复正常。通过设置 spark shuffle 分区并运行广泛的转换并检查 red.getNumPartitions 来验证相同。您可以通过简单的火花作业来尝试。