apache-spark - Spark 是否支持倾斜提示？
问题描述
我面临一些数据倾斜问题，我想看看 Spark 提示是否可以帮助我。但是，我不确定是否支持倾斜提示。这些站点： https://docs.databricks.com/spark/latest/spark-sql/skew-join.html#relation-columns-and-skew-values Spark Scala 等效于 SKEW 连接提示都暗示是的，它们是支持的。
但是，https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hint-framework.html#spark-analyzer声称Spark SQL supports COALESCE and REPARTITION and BROADCAST hints. All remaining unresolved hints are silently removed from a query plan at analysis.，这意味着我的倾斜提示也将被忽略。
哪一个是正确的？我正在运行 Spark 2.2
解决方案
TL;DR从 Spark 2.4 开始，Apache Spark 不支持倾斜提示。
你混淆了两件事：
- Apache Spark是由Apache Software Foundation维护的开源项目
- Databricks 统一分析平台，它是基于 Apache Spark 构建的专有产品。
前者支持一组 Apache Spark 中不存在的功能，有时甚至在执行模型中存在分歧。您不应该通过查看 Databricks 文档来判断 Apache Spark 功能。倾斜连接是这些特性之一（在可变存储、索引和其他工具中）。
请注意，还有其他基于 Spark 构建的专有平台，它们可能会提供自己的扩展并修改 Spark 的行为，因此您不应使用它们的文档。