azure-data-factory - Azure 数据工厂：使用复制活动设置复制文件数量的限制

Question

我的管道中有一个复制活动用于从 Azure 数据 Lake gen 2 复制文件。源位置可能有 1000 个文件，需要复制这些文件，但我们需要为需要复制的文件数量设置一个限制. ADF 中是否有任何可用的选项来实现相同的自定义活动？

例如：我在数据湖中有 2000 个文件可用，但是在运行管道时，我应该能够传递一个参数来仅复制 500 个文件。

问候，桑迪普

标签： azure-data-factoryazure-data-lakeazure-data-factory-2

Answer 1

我认为您可以使用带有 for each 循环的查找活动和复制活动来实现此目的。您还必须使用计数器变量（这会使过程变慢，因为您必须一次复制 i 文件）。loopkup 活动目前有 5000 个限制，因此您必须牢记这一点。