apache-spark - spark 2.4：AQE 是否优先于 spark.sql.shuffle.partitions？

Question

我试图了解spark.sql.shuffle.partitions在 spark 2.4 中自适应查询的执行和交互如何（尽管如果这在 spark 3.0 中发生了变化，那也会很有趣）。

如果我将 AQE 设置为 true（与 spark 3.0 不同，在 spark 2.4 中默认为 False），它可以选择更高和更低的分区数吗？还是取决于我是否设置spark.sql.adaptive.coalescePartitions.enabled为true？

在我相当大的应用程序中，我的代码过去常常崩溃，直到我指定了足够的分区。AQE 已启用，但不知何故无法为我做到这一点。在明确设置分区后（AQE 仍然打开），代码可以可靠地工作。

（我在 CDH 上使用 pyspark，spark 2.4）

标签： apache-spark