时间戳

首页 > 解决方案 > 插入新行，继续现有行集 row_number 计数

azure - 插入新行，继续现有行集 row_number 计数

问题描述

我正在尝试在 U-SQL 中执行某种 upsert 操作，我每天从文件中提取数据，并将其与存储在 Data Lake Storage 中的表中的昨天数据进行比较。

我已经使用 row_number() 在 DL 的表中创建了一个 ID 列，当将新行附加到旧数据集时，我希望继续使用这个“计数器”。例如，DL 表中最后插入的行可能如下所示：

ID | Column1    | Column2
---+------------+---------
10 | SomeValue  |    1

我希望下一行具有以下升序 ID

11 | SomeValue  |   1 
12 | SomeValue  |   1

我将如何确保接下来的 X 行以增量方式继续 ID 计数，以使接下来的每一行的 ID 列都比上一行增加 1？

标签： azureu-sql

解决方案

您可以使用ROW_NUMBER然后将其添加到原始表中的最大值（即使用CROSS JOINand MAX）。该技术的简单演示：

DECLARE @outputFile string = @"\output\output.csv";

@originalInput =
    SELECT *
    FROM ( VALUES
        ( 10, "SomeValue 1", 1 )
        ) AS x ( id, column1, column2 );


@newInput =
    SELECT *
    FROM ( VALUES
        ( "SomeValue 2", 2 ),
        ( "SomeValue 3", 3 )
        ) AS x ( column1, column2 );


@output =
    SELECT id, column1, column2
    FROM @originalInput

    UNION ALL

    SELECT (int)(x.id + ROW_NUMBER() OVER()) AS id, column1, column2
    FROM @newInput
            CROSS JOIN ( SELECT MAX(id) AS id FROM @originalInput ) AS x;


OUTPUT @output
TO @outputFile
USING Outputters.Csv(outputHeader:true);

我的结果：

结果

如果原始表为空，您将必须小心并添加一些额外的条件/空检查，但我将由您决定。

推荐阅读