python - Pyspark 数据框不删除所有重复项
问题描述
我被困在一个看似简单的问题上,但我看不出我做错了什么,或者为什么 .dropDuplicates() 的预期行为不起作用。
我使用的变量:
print type(pk)
<type 'tuple'>
print pk
('column1', 'column4')
我有一个数据框:
df_new.show()
+-------+----------------+---------+-------+-------------+-----------------+
|column1| column2| column3|column4|dml_operation| ingest_date|
+-------+----------------+---------+-------+-------------+-----------------+
| data6| z| update| z| 2|20190308190720942|
| data7| y| update| y| 2|20190308190720942|
| data8| x| update| x| 2|20190308190720942|
| data9| f| f| f| 0|20190308190720942|
| data1| d| b| c| 2|20190308190720942|
| data4| f| c| b| 1|20190308190720942|
| data3| a| b| b| 0|20190308190720942|
| date6|this should drop|more text| z| 2|20190308190720942|
| data8|this should drop| here| x| 1|20190308190720942|
| date6|this should drop|more text| z| 0|20190308190720942|
+-------+----------------+---------+-------+-------------+-----------------+
然后我执行:
print_df = df_new.dropDuplicates(pk)
print_df.show()
+-------+----------------+---------+-------+-------------+-----------------+
|column1| column2| column3|column4|dml_operation| ingest_date|
+-------+----------------+---------+-------+-------------+-----------------+
| data3| a| b| b| 0|20190308190720942|
| date6|this should drop|more text| z| 2|20190308190720942|
| data7| y| update| y| 2|20190308190720942|
| data8| x| update| x| 2|20190308190720942|
| data9| f| f| f| 0|20190308190720942|
| data4| f| c| b| 1|20190308190720942|
| data6| z| update| z| 2|20190308190720942|
| data1| d| b| c| 2|20190308190720942|
+-------+----------------+---------+-------+-------------+-----------------+
如您所见,该函数对包含“data8 和 x”的行按预期工作,但只删除“data6 和 z”的两个重复项之一。这是我想不通的。
我已经排除了一些事情: - 列类型 - 输入的 pk 类型错误 - 手动传入列名以进行仔细检查
我唯一能想到的另一件事是数据正在被分区,据我所知 .dropDuplicates() 仅保留每个分区中的第一次出现(请参见此处:spark dataframe drop duplicates and keep first)。在我的情况下这似乎不太可能,因为我的测试数据很小。
我没主意了。有谁知道为什么会发生这种行为?
解决方案
这里的问题应该是“ date6
”。如果它的“ data6
”,重复项将按预期删除。那可能是因为date
它被认为是 python 中的一种数据类型。
>>> df_new.show()
+-------+----------------+---------+-------+-------------+-----------------+
|column1| column2| column3|column4|dml_operation| ingest_date|
+-------+----------------+---------+-------+-------------+-----------------+
| data6| z| update| z| 2|20190308190720942|
| data7| y| update| y| 2|20190308190720942|
| data8| x| update| x| 2|20190308190720942|
| data9| f| f| f| 0|20190308190720942|
| data1| d| b| c| 2|20190308190720942|
| data4| f| c| b| 1|20190308190720942|
| data3| a| b| b| 0|20190308190720942|
| data6|this should drop|more text| z| 2|20190308190720942|
| data8|this should drop| here| x| 1|20190308190720942|
| data6|this should drop|more text| z| 0|20190308190720942|
+-------+----------------+---------+-------+-------------+-----------------+
>>> df_new.dropDuplicates(['column1','column4']).show()
+-------+-------+-------+-------+-------------+-----------------+
|column1|column2|column3|column4|dml_operation| ingest_date|
+-------+-------+-------+-------+-------------+-----------------+
| data3| a| b| b| 0|20190308190720942|
| data7| y| update| y| 2|20190308190720942|
| data8| x| update| x| 2|20190308190720942|
| data9| f| f| f| 0|20190308190720942|
| data4| f| c| b| 1|20190308190720942|
| data6| z| update| z| 2|20190308190720942|
| data1| d| b| c| 2|20190308190720942|
+-------+-------+-------+-------+-------------+-----------------+
推荐阅读
- animation - A-Frame Animation-mixer 在特定时间帧开始动画
- python - VSCode Code Runner 不遵循 settings.json
- php - 访问此数组数据
- javascript - AsyncStorage 没有在 ReactNative 中保留我的用户数据
- linux - 如何使我的电子应用程序可在 Linux 上安装
- linux - 创建目录列表打印机
- c - 使用 GMP 库时出现分段错误(核心转储)
- jquery - 猫头鹰旋转木马 rtl 导航箭头问题
- swiftui - SwiftUI - 带有嵌入式 NavigationViews 的页面
- mysql - 是否可以在 n 行字符后为列值添加前缀