时间戳

首页 > 解决方案 > 用空值连接两列火花数据框

apache-spark - 用空值连接两列火花数据框

问题描述

我的 spark 数据框中有两列

First_name  Last_name
Shiva       Kumar
Karthik     kumar
Shiva       Null
Null        Shiva

我的要求是通过用逗号连接上述两列并处理空值来向数据框添加一个新列。

我尝试过使用 concat 和 coalesce 但只有在两列都可用时才能使用逗号分隔符获得输出

预期产出

Full_name
Shiva,kumar
Karthik,kumar
Shiva
Shiva

标签： apache-sparkpysparkconcatenation

解决方案

concat_ws为您连接和处理null值。

df.withColumn('Full_Name', F.concat_ws(',', F.col('First_name'), F.col('Last_name'))

推荐阅读