首页 > 解决方案 > pyspark 数据框 where 子句与非运算符

问题描述

我有一个包含 A 和 B 列的表。我想同时过滤 A!=1 和 B!=2 的表。我使用了语法

df = df.where((df.A!=1)&(df.B!=2))

我期望新的 df 被过滤,使得 A = 1 和 B = 2 同时的情况不会出现在数据帧中,但 A = 1 或 B = 2 的独立情况必须持续存在。

输出由数据帧组成,其中没有 A = 1 或 B = 2 独立的行。即,无论 B 列中的值如何,所有实例或 A = 1 都会被删除,对于 B = 2 的列 B 也是如此。

任何帮助深表感谢。谢谢

标签: dataframepysparkdatabricks

解决方案


推荐阅读