pyspark - 在 pyspark 数据框中添加一个组合两列的新列

Question

我有一个带有两个日期列和其他几个列的 pyspark 数据框。

+-------+-----------+----------+----------+--
|     ID|      date1|  date2   | othercols|
|     1 | 2019-04-01|2019-05-01|      345 |
|     2 | 2019-05-01|2019-06-01|      334 |
|     3 | 2019-06-01|2019-05-01|      324 |

我想将这两个日期列合并到一个新列中，以便为每个条目复制行。我还想使用将日期添加到新列的条件，例如 date1 <= given_date & date2 <= given_date 等等。生成的数据框应如下所示：

+-------+----------+----------+----------+----------+--
|     ID|     date1|     date2| all_dates| othercols|
|     1 |2019-04-01|2019-05-01|2019-04-01|   345    |
|     1 |2019-04-01|2019-05-01|2019-05-01|   345    |
|     2 |2019-05-01|2019-06-01|2019-05-01|   334    |
|     2 |2019-05-01|2019-06-01|2019-06-01|   334    |
|     3 |2019-06-01|2019-05-01|2019-06-01|   324    |
|     3 |2019-06-01|2019-05-01|2019-05-01|   324    |

基本上是特定 id 的所有日期，保持其他列的信息不变。

通过对堆栈溢出的搜索，我可以找到将列组合到新列并在新列中创建数组或列表的答案。对union的任何搜索都会导致不同数据框的联合等。

如果有人可以在这里帮助我，我将不胜感激。

标签： pysparkpyspark-sqlpyspark-dataframes

Answer 1

创建一个新列并将其分解为新行：

import pyspark.sql.functions as F

df = df.withColumn("date_array", F.array(df.date1, df.date2)).withColumn("all_dates", F.explode("date_array"))