时间戳

首页 > 解决方案 > Spark/scala - 我们可以从数据框中的现有列值创建新列吗

scala - Spark/scala - 我们可以从数据框中的现有列值创建新列吗

问题描述

我想看看我们是否可以使用 spark/scala 从 dataFrame 中的一列中的值创建新列。我有一个包含以下数据的数据框

df.show()

+---+-----------------------+
|id |allvals                |
+---+-----------------------+
|1  |col1,val11|col3,val31  |
|3  |col3,val33|col1,val13  |
|2  |col2,val22             |
+---+-----------------------+

在上面的数据中 col1/col2/col3 是列名后跟它的值。列名和值用 分隔,。每组由 分隔|。

现在，我想实现这样

+---+----------------------+------+------+------+
|id |allvals               |col1  |col2  |col3  |
+---+----------------------+------+------+------+
|1  |col1,val11|col3,val31 |val11 |null  |val31 |
|3  |col3,val33|col1,val13 |val13 |null  |val13 |
|2  |col2,val22            |null  |val22 |null  |
+---+----------------------+------+------+------+

感谢任何帮助。

标签： scalaapache-sparkspark-dataframe

解决方案

split您可以使用,explode和转换 DataFrame groupBy/pivot/agg，如下所示：

val df = Seq(
  (1, "col1,val11|col3,val31"),
  (2, "col3,val33|col1,val13"),
  (3, "col2,val22")
).toDF("id", "allvals")

import org.apache.spark.sql.functions._

df.withColumn("temp", split($"allvals", "\\|")).
  withColumn("temp", explode($"temp")).
  withColumn("temp", split($"temp", ",")).
  select($"id", $"allvals", $"temp".getItem(0).as("k"), $"temp".getItem(1).as("v")).
  groupBy($"id", $"allvals").pivot("k").agg(first($"v"))

// +---+---------------------+-----+-----+-----+
// |id |allvals              |col1 |col2 |col3 |
// +---+---------------------+-----+-----+-----+
// |1  |col1,val11|col3,val31|val11|null |val31|
// |3  |col2,val22           |null |val22|null |
// |2  |col3,val33|col1,val13|val13|null |val33|
// +---+---------------------+-----+-----+-----+

推荐阅读