apache-spark - 将 Azure Databricks 增量表迁移到 Azure Synapse SQL 池

Question

我在 scala databricks 笔记本中编写了计算逻辑，该笔记本由 ADF 执行，以通过从 ADLS Gen2 容器读取原始增量文件来创建增量文件。

现在，我需要将所有 databricks 增量表从 Azure databricks 工作区迁移到 Azure Synapse 分析。

你能列出完成这项任务我需要采取的分步方法吗？

标签： apache-sparkazure-data-factory-2azure-databricksazure-synapseazure-data-lake-gen2

Answer 1

以下是使用 azure 数据工厂将数据从 Azure 数据块增量表复制到 Azure Synapse 的步骤

• 步骤 1：使用“Azure 数据砖 delta Lake”连接器创建一个数据集以指向您的 delta 表

• 第 2 步：使用“Azure Synapse Analytics”连接器创建一个数据集以指向您的 Synapse Analytics

• 第三步：使用复制活动。在复制活动中，使用 step1 数据集作为源，使用 step2 数据集作为接收器

Azure Databricks 中的 Delta 文件是源数据集，只需创建管道以对数据集执行复制活动，以反映将成为 Azure Synapse SQL 池的接收器数据集。

请参阅此链接：复制活动在 Azure 数据工厂中的工作原理的基本方案