时间戳

首页 > 解决方案 > 通过将逗号分隔的列的值替换为基于另一个数据框的查找来创建新列

python - 通过将逗号分隔的列的值替换为基于另一个数据框的查找来创建新列

问题描述

我有 PySpark 数据框 ( source_df)，其中有一列的值以逗号分隔。我正在尝试用基于另一个数据框的查找替换这些值（lookup_df）

source_df

A      B      T   ... followed by N unrelated columns...
foo    a,b,c  sam
bar    k,a,c  bob
faz    b,a,f  sam

查找_df

C D
a h1
b h2
c h3

输出数据框：

A   T     B      new_col     ... followed by N unrelated columns...
foo sam   a,b,c  h1,h2,h3
bar bob   h,a,c  EMPTY,h1,h3
faz sam   b,a,f  h2,h1,EMPTY

列A是主键，并且始终是唯一的。对于给定的值，列T是唯一的A。

标签： pythonapache-sparkpysparkapache-spark-sql

解决方案

您可以拆分和分解 B 列并进行左连接。然后收集 D 值并用逗号连接。

import pyspark.sql.functions as F

result = source_df.withColumn(
    'B_split',
    F.explode(F.split('B', ','))
).alias('s').join(
    lookup_df.alias('l'),
    F.expr('s.B_split = l.C'),
    'left'
).drop('C').na.fill(
    'EMPTY', ['D']
).groupBy(
    source_df.columns
).agg(
    F.concat_ws(',', F.collect_list('D')).alias('new_col')
)

result.show()
+---+-----+---+-----------+
|  A|    B|  T|    new_col|
+---+-----+---+-----------+
|foo|a,b,c|sam|   h1,h2,h3|
|faz|b,a,f|sam|h2,h1,EMPTY|
|bar|k,a,c|bob|EMPTY,h1,h3|
+---+-----+---+-----------+

推荐阅读