apache-spark - Spark SQL 在过滤过程中如何处理空值？

Question

我希望以下代码输出“b”和 null，因为两者都不等于字符串“a”。但是，spark 仅输出“b”。要在输出中包含 null，我必须在过滤器中明确包含 $"word".isNull

val df = Seq(("a"),("b"),(null)).toDF("word")
df.filter($"word".notEqual("a")).show()

输出：

+----+
|word|
+----+
|   b|
+----+

关于 Spark 数据框如何处理空值，我缺少什么？

标签： apache-sparkapache-spark-sql