首页 > 解决方案 > 如何在pyspark中使用foldleft?

问题描述

我有一个列表中的列列表需要添加 withcolumn 就像我们在 scala 中的操作方式类似,如下所示:

list.foldLeft(df){(tempDF, listValue) => tempDF.withColumn(listValue._1, listValue._2) }

让我澄清一下这个问题。我有一个带有数组类型结构的数据框我需要使用explode来展平每个数组,例如:df.withcolumn(col1,explode(col1)) 如果需要创建一个通用函数来一次性传递所有列你怎么做它?如果我使用 for 循环,它会使每个爆炸语句的数据加倍

你怎么能做到呢pyspark

标签: pythonapache-sparkpysparkpyspark-sqlpyspark-dataframes

解决方案


推荐阅读