pyspark - 如何在pyspark中使用reduce动态填充？

Question

我已经创建了这个函数来根据输入参数将 fillna 应用到数据帧，但它似乎覆盖了最后一个参数，例如这里丢失的参数，而不是第一个参数的输出。

这是我的功能：

def fillna(df, params):
    return reduce(
        lambda data, rules: data.fillna(rules[0], subset=rules[1]), params.items(), df,
    )


where df: input dataframe
params={0:['age'], Missing: ['name']} # 

input : 
id age name
1  12   tan
2       saks
3  23
 
output:
   id age name
   1  12   tan
   2  0    saks
   3  23   missing
  

标签： pysparkreduce