azure - Azure 数据工厂中的参数化数据集

Question

我想知道是否有人有在 Azure 数据工厂中动态调用数据集的经验。我们的情况是，我们将所有表从 IaaS（Azure VM 上的本地 SQL Server 安装）应用程序系统动态扫描到数据湖。我们希望有一个管道可以将服务器名称、数据库名称、用户名和密码传递给管道的活动。然后，管道将扫描他们被告知从参数中读取的任何源。源系统目前位于我们的企业协议中的单独订阅和域中。

我们已经研究过在通用 SQL Server 数据集上使用 AutoResolveIntegrationRuntime，但是，由于它是 Azure 并且 VM 上的运行时是自托管的，它无法解析并且我们得到“无法连接”错误。所以，

i) 我不知道如果他们在同一个订阅和域中，这个问题是否会消失？

剩下的是否有人可以提供帮助：

ii) 一种获取动态运行时以解决它应该使用哪个 SQL Server 运行时的方法（我们每个 VM 都有一个用于弹性目的，但它们都可以看到彼此的实例）。我们不想对特定 VM 上的链接服务进行参数化，因为它将其他 VM 依赖于该单个 VM。

iii) 能够参数化数据集以调用运行时（在 UI 中看起来不可能）。

iv) 通过管道活动参数化源和汇连接以调用数据集参数的能力。

标签： azureazure-data-factoryazure-data-factory-2

Answer 1

通过使用参数，服务器、数据库、表名可以是动态的。这里的关键问题是 ADF 中的所有引用都无法参数化，例如数据集中的链接服务引用，链接服务中的 integrationRuntime 引用。如果您没有太多自托管的 integrationRuntime，也许您可​​以尝试为不同的网络设置不同的管道？