时间戳

首页 > 解决方案 > Spark - Spark DataFrame、Spark SQL 和/或 Databricks 表中的混合区分大小写

apache-spark - Spark - Spark DataFrame、Spark SQL 和/或 Databricks 表中的混合区分大小写

问题描述

我有来自 SQL Server 的数据，需要在 Apache Spark (Databricks) 中进行操作。

在 SQL Server 中，此表的三个键列使用区分大小写的 COLLATION 选项，因此这些特定列区分大小写，但表中的其他列不区分大小写。这些列是来自供应商应用程序的简短字母数字标识符，我们必须能够在谓词和连接条件中以区分大小写的方式使用它们，同时能够以不区分大小写的方式使用其他列。

该表已导出为 CSV。

除了使用 lower 和 upper 函数之外，有没有办法在 DataFrame 中混合区分大小写和不区分大小写的列比较？我也可以将此 CSV 导入 Databricks 表，但这似乎没有在元数据级别为连接提供类似的排序选项。

谢谢你。

标签： apache-sparkdataframeapache-spark-sqldatabricks

解决方案

Spark 2.x 中没有这样的选项。

如果您需要为下游处理保留数据的大小写，但您还需要不区分大小写的比较，您有三个选项：

  1. 创建带有附加列的视图，这些列是大写/小写投影。如果您只使用 SparkSQL，这是最好的选择。我不建议在持久化数据中为不区分大小写的操作实现额外的列：额外的 I/O 成本可能会超过改变大小写的 CPU 成本。

  2. 如果您使用的是 Spark DSL，您可以创建使您的意图更清晰的抽象，而无需过多的额外输入，也无需创建新的列/视图，例如，如果您使用的是 Scala，则引入不区分大小写的（不）相等和比较运算符。

    df.where('x ciLT 'y) // ciLT is case-insensitive less than, as an example

  3. 根据您必须编写的代码量、哪些操作需要不区分大小写的排序规则以及您使用的语言，您可能会变得很花哨，例如，自动重写表达式，使（不）相等和比较运算符的行为区分大小写或基于表名的不敏感方式。这需要对 Spark 的内部有深入的了解，并且只有在您必须管理具有高代码速度的大型代码库时才有意义。

如果您主要使用不区分大小写的操作，WHERE则ORDER/SORT BY性能将非常好，因为数据行不会被加宽以进行处理。否则，这些列将在 Spark 的内部行中“物化”，并且会有一点性能损失。

如果您不需要为下游处理保留数据的大小写，那么在摄取期间切换到常见的大小写表示是正确的方法。

推荐阅读