时间戳

首页 > 解决方案 > Azure Synapse Polybase/外部表 - 我们可以在创建外部表时从文件中获取行号吗

sql - Azure Synapse Polybase/外部表 - 我们可以在创建外部表时从文件中获取行号吗

问题描述

我正在尝试从文件中获取行号，同时使用 Azure Synapse 中的 Polybase 将其读取并加载到表中。例如，假设文件（csv）有 3 列，我需要加载具有 4 列的目标表（来自文件的 3 列和保存文件中行/行号的列）。有没有什么 polybase 属性可以用来获取这条线？

示例文件

预期产出

我在从外部表中选择时尝试使用 row_number 函数，但是当数据很大时，这会给出不正确的行号（将行号混淆）。我想这是由于 Azure Synapse ( master/slave ) 在概念上构建的。

CREATE EXTERNAL TABLE dbo.EXAMPLE_EXT (
   COL1 VARCHAR(5),
   COL2 VARCHAR(5),
   COL3 VARCHAR(5))
WITH (
    LOCATION='../',
    DATA_SOURCE=Example_DataSource,
    FILE_FORMAT=Example_csvFile
    );

INSERT INTO EXAMPLE_TARGET_TABLE (LINE_NUMBER,COL1,COL2,COL3)
SELECT ROW_NUMBER() OVER(ORDER BY NULL) AS LINE_NUMBER, COL1, COL2, COL3
FROM dbo.EXAMPLE_EXT

上述代码的输出

标签： sqlazureazure-synapseexternal-tables

解决方案

是的，您可以使用“create table as select”添加行号。下面是一个示例脚本，如果您创建了外部数据源，您可以跳过第 1 个。

 1.  
  CREATE EXTERNAL DATA SOURCE <data_source_name>
  WITH
    ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
      [ [ , ] CREDENTIAL = <credential_name> ]
      [ [ , ] TYPE =HADOOP ]
     )
 [ ; ]

2. 
CREATE EXTERNAL TABLE dbo.EXAMPLE_EXT (
   COL1 VARCHAR(5),
   COL2 VARCHAR(5),
   COL3 VARCHAR(5))
 WITH (
    LOCATION='../',
    DATA_SOURCE=Example_DataSource,
    FILE_FORMAT=Example_csvFile
    );

3. 
CREATE TABLE EXAMPLE_TARGET_TABLE
WITH
(DISTRIBUTION = ROUND ROBIN
,CLUSTERED COLUMNSTORE INDEX
)

AS

SELECT ROW_NUMBER() OVER(ORDER BY NULL) AS LINE_NUMBER, 
*
FROM dbo.EXAMPLE_EXT;

推荐阅读