azure-data-factory-2 - Azure Datafactory 运行并行活动

Question

我有一个包含大约 20 个相互独立的复制活动的管道。此复制活动基本上是将数据从本地数据源复制到 azure sql DB。我有两个问题。我可以同时并行运行所有 20 个活动吗？目前它只是运行 4-6 个活动，其余的活动正在排队等待，只有在较早的完成后才开始。我怎么能同时跑20个。PS：我已将自托管 IR 中的最大并发数增加到 24，但仍然相同。

问题 2：管道中是否有任何选项可以包含任何参数，以便它可以执行任意数量的并行活动来执行？

谢谢你的帮助

标签： azure-data-factory-2azure-data-factory-pipelinegithub-actions-self-hosted-runners

Answer 1

没有增加并行数的选项。您只能通过增加节点可以像您一样运行的并发作业的数量来扩大规模。如果处理器使用率高而可用内存低，尽管您将限制并发作业更改得更大，但它无法满足您的要求。你可以参考这个文档。