首页 > 解决方案 > 云数据融合在同一管道上迭代

问题描述

执行用例——

  1. 将多个选项卡上传到云存储的 Excel
  2. 云函数触发器调用云数据融合管道
  3. 管道读取文件使用 wrangler 读取各个工作表并根据工作表写入单独的表

虽然我使用参数在 wrangler 中定义工作表名称(如用于可用管道),但我无法弄清楚如何迭代以运行每个选项卡,或使用云函数跨 20 次调用以参数为同一管道每个选项卡名称。我不认为在同一管道中运行并行路径会有所帮助或者是一个好的解决方案。任何帮助表示赞赏。

标签: google-cloud-platformetlgoogle-cloud-data-fusioncdap

解决方案


要运行并行管道,我们可以使用云函数迭代 API 调用。虽然我不确定在一次 CDF 调用中允许多少个实例,但我可以运行同一管道的三个并行运行。


推荐阅读