apache-spark - 根据下一次特定值出现在数据帧 pyspark 中更新行
问题描述
如果我有这样的数据框
data = [(("ID1", "ENGAGEMENT", 2019-03-03)), (("ID1", "BABY SHOWER", 2019-04-13)), (("ID1", "WEDDING", 2019-07-10)),
(("ID1", "DIVORCE", 2019-09-26))]
df = spark.createDataFrame(data, ["ID", "Event", "start_date"])
df.show()
+---+-----------+----------+
| ID| Event|start_date|
+---+-----------+----------+
|ID1| ENGAGEMENT|2019-03-03|
|ID1|BABY SHOWER|2019-04-13|
|ID1| WEDDING|2019-07-10|
|ID1| DIVORCE|2019-09-26|
+---+-----------+----------+
从此数据框中,必须根据后续事件的开始日期推断事件的结束日期
例如:如果您有订婚,那么婚礼将在婚礼结束时结束,因此您将婚礼的开始日期作为订婚的结束日期。
所以上面的数据框应该得到这个输出。
+---+-----------+----------+----------+
| ID| Event|start_date| end_date|
+---+-----------+----------+----------+
|ID1| ENGAGEMENT|2019-03-03|2019-07-10|
|ID1|BABY SHOWER|2019-04-13|2019-04-13|
|ID1| WEDDING|2019-07-10|2019-09-26|
|ID1| DIVORCE|2019-09-26| NULL|
+---+-----------+----------+----------+
我最初尝试在由 ID 划分的窗口上使用前导函数来获取前面的行,但因为它可能是 20 行之后“婚礼”事件将不起作用并且是一种非常混乱的方法.
df = df.select("*", *([f.lead(f.col(c),default=None).over(Window.orderBy("ID")).alias("LEAD_"+c)
for c in ["Event", "start_date"]]))
activity_dates = activity_dates.select("*", *([f.lead(f.col(c),default=None).over(Window.orderBy("ID")).alias("LEAD_"+c)
for c in ["LEAD_Event", "LEAD_start_date"]]))
df = df.withColumn("end_date", f.when((col("Event") == "ENGAGEMENT") & (col("LEAD_Event") == "WEDDING"), col("LEAD_start_date"))
.when((col("Event") == "ENGAGEMENT") & (col("LEAD_LEAD_Event") == "WEDDING"), col("LEAD_LEAD_start_date"))
如何在不遍历数据集的情况下实现这一点?
解决方案
这是我的尝试。
from pyspark.sql import Window
from pyspark.sql.functions import *
df.withColumn('end_date', expr('''
case when Event = 'ENGAGEMENT' then first(if(Event = 'WEDDING', start_date, null), True) over (Partition By ID)
when Event = 'BABY SHOWER' then first(if(Event = 'BABY SHOWER', start_date, null), True) over (Partition By ID)
when Event = 'WEDDING' then first(if(Event = 'DIVORCE', start_date, null), True) over (Partition By ID)
else null end
''')).show()
+---+-----------+----------+----------+
| ID| Event|start_date| end_date|
+---+-----------+----------+----------+
|ID1| ENGAGEMENT|2019-03-03|2019-07-10|
|ID1|BABY SHOWER|2019-04-13|2019-04-13|
|ID1| WEDDING|2019-07-10|2019-09-26|
|ID1| DIVORCE|2019-09-26| null|
+---+-----------+----------+----------+
推荐阅读
- java - Datatables数据错误地附加到表中
- python - 简单的海龟命令将海龟图形窗口带到前台?(OS X El Capitan 上的 python 3)
- ios - 在 UIView 和 UIViewController 之间传递数据
- c - 在 C 中交换动态分配的变量时,临时变量是否需要 free?
- spring-boot - Spring Security 在 Authentication 上获取延迟加载的属性
- excel - Excel Vba字典未循环
- android - 尝试选择图像时未能提供结果 ResultInfo
- javascript - 在 chrome 扩展中,如何使用内容脚本注入 Vue 页面
- node.js - 更新部署 - 重新部署到谷歌云后上传的图像被删除
- android - Recyclerview Item onclick 覆盖下一个片段而不是替换它