时间戳

首页 > 解决方案 > 尝试删除 SQL Server 中的重复行，其中差异是日期或批号

sql - 尝试删除 SQL Server 中的重复行，其中差异是日期或批号

问题描述

我有这个查询：

SELECT 
    T1.ID_NUMBER,                                                                    
    T1.INCEPTION_DATE,
    T1.OCCURRENCE,
    T1.TRANSACTION_DATE,
    T1.FILE_LOAD_DATE,
    T1.BATCH_NUM
FROM 
    mastertable T1
INNER JOIN 
    (SELECT 
         ID_NUMBER, INCEPTION_DATE, OCCURRENCE, 
         COUNT(*) AS DUPL_COUNT
     FROM 
         mastertable
     WHERE 
         SOURCE_SYSTEM ='LEGACY'
     GROUP BY 
         ID_NUMBER, INCEPTION_DATE, OCCURRENCE
     HAVING 
         COUNT(*) > 1) t2 ON T2.ID_NUMBER = T1.ID_NUMBER 
                          AND T2.INCEPTION_DATE = T1.INCEPTION_DATE 
                          AND T2.OCCURRENCE= T1.OCCURRENCE
ORDER BY 
    1, 2, 3, 4, 5

哪个返回以下结果

身份证号 INCEPTION_DATE 发生 交易日期 FILE_LOAD_DATE BATCH_NUM
112897732 2008-09-15 4 2008-07-03 2008-07-07 17:57:19 06341
112897732 2008-09-15 4 2008-07-13 2008-07-18 03:35:55 06753
828194721 2008-11-11 1 2008-09-06 2008-09-17 02:50:44 97334
828194721 2008-11-11 1 2008-09-23 2008-09-24 02:55:27 98331
456457422 2008-09-28 1 2008-12-03 2008-07-13 08:08:39 00734
456457422 2008-09-28 1 2008-12-03 2008-07-18 13:35:55 00991
999272910 2008-05-07 3 2008-05-03 2008-10-13 08:08:38 11432
999272910 2008-05-07 3 2008-05-28 2008-10-18 03:35:55 13342
875328642 2008-03-01 3 2008-04-28 2008-01-23 08:08:38 74542
875328642 2008-03-01 3 2008-04-30 2008-01-25 12:55:11 77536
011028734 2008-07-12 2 2008-12-03 2008-08-07 11:57:03 23422
011028734 2008-07-12 2 2008-12-03 2008-08-11 17:23:29 25748
018264981 2008-07-09 0 2008-12-03 2008-12-07 02:18:12 00432
018264981 2008-07-09 0 2008-12-03 2008-12-11 17:44:19 00773

FILE_LOAD_DATE每个ID_NUMBER或更小的较早者BATCH_NUM是我要保留的记录。

有没有办法编写一个删除其他记录的查询，也许使用带有 的 CTE ROW_NUMBER()？

我希望有一些干燥的东西，以防这个问题再次发生。谢谢！

（另外，如果不是太麻烦，请解释解决方案的工作原理）

标签： sqlsql-serverduplicatescommon-table-expression

解决方案

您可以在此处使用可删除的 CTE：

WITH cte AS (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY ID_NUMBER, INCEPTION_DATE, OCCURRENCE
                                 ORDER BY FILE_LOAD_DATE, BATCH_NUM) rn
    FROM mastertable
    WHERE SOURCE_SYSTEM = 'LEGACY'
)

DELETE
FROM cte
WHERE rn > 1;

逻辑是为每组具有相同 、 和 值的记录分配一个ID_NUMBER行INCEPTION_DATE号OCCURRENCE。第一行编号值 1 将分配给最早 FILE_LOAD_DATE的记录。如果有两个或多个记录最早并列FILE_LOAD_DATE，则决胜局将由最早的决定BATCH_NUM。

删除语句删除除此最早记录之外的所有记录。

推荐阅读