python - PySpark - 基于开始/结束日期的行数

Question

假设我有一个如下的数据框，代表订阅了特定服务的帐户、订阅开始的日期以及订阅结束的日期（如果尚未结束，则为 null）。

ACCOUNT_ID   START_DATE   END_DATE
1            2018-05-01   2018-09-07
2            2018-07-20   2018-08-10
3            2018-06-10   null

我的目标是生成一个下表，其中每个月有多少人在该月的第一天订阅了该服务。

DATE        SUBSCRIBER_COUNT
2018-01-01    0
2018-02-01    0
2018-03-01    0
2018-04-01    0
2018-05-01    1
2018-06-01    2
2018-07-01    3
2018-08-01    3
2018-09-01    2
2018-10-01    1
2018-11-01    1

---

我尝试过的方法：

• 以某种方式分解数据框，以便对于每个帐户，我有多行，该帐户每天都是订阅者的一行。然后将其过滤到我感兴趣的日期（即每个月的第一天），然后按天分组并计算帐户。
  • 不知道如何在不使用讨厌的 UDF 的情况下生成这样的爆炸数据集。
• 生成我感兴趣的日期列表；对于每一个，将一个新的布尔列添加到名为 do 的原始数据subscribed_yyyymmdd框中start < day && day < end。然后对这些列进行布尔计数以获取订阅者计数。
  • 必须添加新列很笨重，而且如果我想每天而不是每月这样做，也不能很好地扩展

标签： pythonapache-sparkpyspark