azure - REST 作为 Azure 数据工厂中的接收器的最大 writeBatchSize 是多少

Question

我们正在使用 Azure 数据工厂将数据从本地 SQL 表复制到 REST 端点，例如 Google Cloud Storage。我们的源表有超过 300 万行。基于文档https://docs.microsoft.com/en-us/azure/data-factory/connector-rest#copy-activity-properties， writeBatchSize 的默认值（每批写入 REST 接收器的记录数）是 10000。我尝试将大小增加到 5,000,000 和 1,000,000，并注意到最终文件大小相同。它表明并非所有 3M 记录都写入 GCS。有谁知道 writeBatchSize 的最大大小是多少？分页似乎仅适用于使用 REST 作为源的情况。我想知道我的情况是否有任何解决方法？

标签： azureazure-data-factory