时间戳

首页 > 解决方案 > 将 kv 对的 spark 数据帧数组转换为单独的列

scala - 将 kv 对的 spark 数据帧数组转换为单独的列

问题描述

我有以下架构：

root
 |-- id: string (nullable = true)
 |-- date: timestamp (nullable = true)
 |-- config: struct (nullable = true)
 |    |-- entry: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- key: string (nullable = true)
 |    |    |    |-- value: string (nullable = true)

数组中不会有超过 3 个键值对 (k1,k2,k3)，我想将每个键的值放入自己的列中，而相应的数据将来自同一 kv 对的值。

+--------+----------+----------+----------+---------+
|id      |date      |k1        |k2        |k3       |
+--------+----------+----------+----------+---------+
|    id1 |2019-08-12|id1-v1    |id1-v2    |id1-v3   |
|    id2 |2019-08-12|id2-v1    |id2-v2    |id2-v3   |
+--------+----------+----------+----------+---------+

到目前为止，我尝试过这样的事情：

sourceDF.filter($"someColumn".contains("SOME_STRING"))
      .select($"id", $"date", $"config.entry" as "kvpairs")
      .withColumn($"kvpairs".getItem(0).getField("key").toString(), $"kvpairs".getItem(0).getField("value"))
      .withColumn($"kvpairs".getItem(1).getField("key").toString(), $"kvpairs".getItem(1).getField("value"))
      .withColumn($"kvpairs".getItem(2).getField("key").toString(), $"kvpairs".getItem(2).getField("value"))

但在这种情况下，列名显示为kvpairs[0][key]，如下所示：kvpairs[1][key]kvpairs[2][key]

+--------+----------+---------------+---------------+---------------+
|id      |date      |kvpairs[0][key]|kvpairs[1][key]|kvpairs[2][key]|
+--------+----------+---------------+---------------+---------------+
|    id1 |2019-08-12|    id1-v1     |    id1-v2     |   id1-v3      |
|    id2 |2019-08-12|    id2-v1     |    id2-v2     |   id2-v3      |
+--------+----------+---------------+---------------+---------------+

两个问题：

标签： scaladataframeapache-sparkapache-spark-sqlpivot

解决方案

将多个withColumn与一起使用getItem将不起作用，因为 kv 对的顺序可能不同。您可以做的是分解数组，然后pivot按如下方式使用：

sourceDF.filter($"someColumn".contains("SOME_STRING"))
  .select($"id", $"date", explode($"config.entry") as "exploded")
  .select($"id", $"date", $"exploded.*")
  .groupBy("id", "date")
  .pivot("key")
  .agg(first("value"))

这里聚合内部的用法first假设每个键都有一个值。否则collect_list还是collect_set可以使用的。

结果：

+---+----------+------+------+------+
|id |date      |k1    |k2    |k2    |
+---+----------+------+------+------+
|id1|2019-08-12|id1-v1|id1-v2|id1-v3|
|id2|2019-08-12|id2-v1|id2-v2|id2-v3|
+---+----------+------+------+------+

推荐阅读