时间戳

首页 > 解决方案 > 在 PySpark 中为每一行查找最新的非空值

python - 在 PySpark 中为每一行查找最新的非空值

问题描述

我有一个像这样的 PySpark 数据框，

+----------+------+------+------+------+------+------+------+------+------+------+------+------+------+
|id        |201806|201807|201808|201809|201810|201811|201812|201901|201902|201903|201904|201905|201906|
+----------+------+------+------+------+------+------+------+------+------+------+------+------+------+
|  1       |    15|    15|    15|    15|    15|    15|    15|    15|    15|  null|    15|    15|    15|
|  2       |     4|     4|     4|     4|     4|     4|     4|     4|     4|     4|     4|     4|     4|
|  3       |     7|     7|     7|     7|     7|     7|     7|     7|  null|  null|  null|  null|  null|
-------------------------------------------------------------------------------------------------------

从这些数据中，我想为每一行找到最新的非空值。

我期待得到以下结果。

+----------+------+
|id.         |latest|
+----------+------+
|  1       |    15| 
|  2       |     4|  
|  3       |     7|  
-------------------

我遵循了这个答案，但我无法按行进行操作。

我用了，

df.select([last(x, ignorenulls=True).alias(x) for x in df.columns])

但是此代码仅按列执行，我希望按行执行相同的操作。

标签： pythonpyspark

解决方案

假设您的列是从最旧到最新排序的，您可以使用下面的代码coalesce来获取最新值。

from pyspark.sql.functions import coalesce

df.select('id', coalesce(*[i for i in df.columns[::-1] if i != 'id']).alias('latest')).show()

输出：

+---+------+
| id|latest|
+---+------+
|  1|    15|
|  2|     4|
|  3|     7|
+---+------+

推荐阅读