azure - Azure 数据工厂复制活动非常缓慢

Question

总结问题

我发现 Azure 数据工厂的性能特别慢。在 StackOverFlow 上搜索类似问题，除了联系支持的建议外，一无所获。我在这里掷骰子，看看是否有人见过类似的东西并知道如何解决它。

简而言之，我在 ADF 中尝试的每个操作都会导致性能异常缓慢。这包括：

• 将 blob 存储中的 zip 提取到 blob 存储
• 将多个小型压缩文件复制到 Azure 数据资源管理器
• 将大量未压缩的小型 json 文件复制到 Azure 数据资源管理器

提取 ZIP

复制到 ADX

在这两种情况下，性能都在每秒千字节范围内。在这两种情况下，复制/导入最终都会起作用，但可能需要几个小时。

描述你尝试过的东西

我试过了：

• 使用不同的区域
• 创建和使用我自己的集成运行时
• 使用可能影响性能的不同参数，例如并行连接等。
• 联系 Microsoft 支持（谁派我来这里）

显示一些代码

没有任何代码可以分享。要重现，只需尝试从 blob 存储中提取 zip。我得到〜400KB / s。

总之，我们将不胜感激地收到任何建议。如果我不能让这部分工作，我必须手动实现一个摄取工厂，这听起来比我在 ADF 中所拥有的有趣。

标签： azureazure-data-factory

Answer 1

这些“深”文件夹会影响复制速度。我们应该最小化深度并增加复制活动的数量。您可以参考此文档对复制活动性能进行故障排除。或者，您可以向Microsoft Azure发送反馈。