时间戳

首页 > 解决方案 > PySpark Dataframe Groupby 和计数空值

python - PySpark Dataframe Groupby 和计数空值

问题描述

我有以下形式的 Spark 数据框：

+------+-------+-----+--------+
| Year | Month | Day | Ticker |
+------+-------+-----+--------+

我正在尝试按“年份”对所有值进行分组，并计算每年每列中缺失值的数量。

我找到了以下片段（忘记了从哪里来）：

df.select(*(sum(col(c).isNull().cast("int")).alias(c) for c in df.columns)).show()

这在计算每列缺失值的数量时非常有效。但是，我不确定如何修改它来计算每年的缺失值。

任何指向正确方向的指针都将不胜感激。

标签： pythonapache-sparkdataframepyspark

解决方案

您可以使用相同的逻辑并添加分组依据。请注意，我还从聚合列中删除​​了“年份”，但这是可选的（您将获得两个“年份”列）。

columns = filter(lambda x: x != "year", df.columns)
df.groupBy("year")\
  .agg(*(sum(col(c).isNull().cast("int")).alias(c) for c in columns))\
  .show()

推荐阅读