apache-spark - 如何从pyspark中的数据框列中选择不同的非空值

Question

如何从 py-spark 中的数据框列中选择不同的非空值。

标签： apache-sparkpyspark

Answer 1

好的，我想通了...以下是我从列中选择所有唯一用户 ID 并排除空行的命令：

df.select('UserID').distinct().where(col("userid").isNotNull())

我仍然相信可能有更好的选择。