azure - 无法使用数据工厂将多个 BLOB 归档到 Synapse

Question

我想使用以下结构将批量数据从 BLOB 存储复制到 Azure Synapse：

斑点存储：-

devpresented (Storage account)
        processedout (Container)
                Merge_user (folder)
                    > part-00000-tid-89051a4e7ca02.csv
                Sales_data (folder)
                    > part-00000-tid-5579282100a02.csv

突触 SQLDW：

SCHEMA:- PIPELINEDEMO
TABLE: Merge_user, Sales_data

使用数据工厂，我想将 BLOB 数据复制到 Synapse 数据库，如下所示：

BLOB        >>  SQLDW
Merge_user  >>  PIPELINEDEMO.Merge_user
Sales_data  >>  PIPELINEDEMO.Sales_data

SQL DB 到 SQL DW 中提到的以下文档： https ://docs.microsoft.com/en-us/azure/data-factory/tutorial-bulk-copy-portal

但是，我在数据工厂中没有找到任何 BLOB 源。

任何人都可以建议，我怎样才能将多个 BLOB 文件移动到不同的表中。

标签： azureazure-blob-storageazure-data-factoryazure-synapse

Answer 1

如果需要将不同 csv 文件的内容复制到 Azure Synapse 中的不同表，则可以在管道中启用多个复制活动。

我创建了一个 .csv 文件，内容如下：

111,222,333,
444,555,666,
777,888,999,

我将此上传到我的存储帐户，然后将此 .csv 文件设置为复制活动的来源。

之后，我在 azure synapse 中创建了一个表，并将其设置为复制活动的接收器：

create table testbowman4(Prop_0 int, Prop_1 int, Prop_2 int)

最后，触发这个管道，你会发现数据在表中：

您可以创建多个类似的复制活动，每个复制活动执行从 blob 到 azure 突触的复制操作。