python - Pyspark 根据另一个日期列获得下周日

Question

我正在尝试创建一个包含两个日期列的数据框 - 一个是从另一个数据框中选择的，另一个是查找该日期之后的下一个星期日。但我遇到的问题是，我试图用它7 - date_format(creation_date, 'u')来给我距离下周日的天数，并将其添加到创建日期，如下所示：

df = df1.select(to_date(create_time), 
         to_date(date_add(df1.create_time, 7 - date_format(df1.create_time, 'u')))

但是，这给了我一个Column is not iterable错误date_add。有解决方案吗？

标签： pythonapache-sparkpyspark