databricks - 从完全相同的记录中删除一条记录 - Databricks

Question

我在 Databricks 的 Delta 表中存在完全相同的记录。想删除一个并保留一个。

我尝试了什么： 1. 使用 CTE AS ( select *, row_number() over(partition by colA order by colB) rn) 从 CTE 中删除，其中 rn>1

--没有工作

2.

从 table_name 中删除 colA in (select colA from (select colA, row_number() over(partition by colA order by colB) rn from table_name) s where rn>1)

--Didnt 工作 - 表示不支持多个 IN Predicated

3.

delete using ctid --Didnt work, ctid is not supported

4. 使用合并查询，但它是相同的 - 要么删除两者，要么根本不删除。

任何建议请注意 - 它在 Databricks SparkSQL 中

标签： databricks