google-cloud-platform - 云数据融合在同一管道上迭代
问题描述
执行用例——
- 将多个选项卡上传到云存储的 Excel
- 云函数触发器调用云数据融合管道
- 管道读取文件使用 wrangler 读取各个工作表并根据工作表写入单独的表
虽然我使用参数在 wrangler 中定义工作表名称(如用于可用管道),但我无法弄清楚如何迭代以运行每个选项卡,或使用云函数跨 20 次调用以参数为同一管道每个选项卡名称。我不认为在同一管道中运行并行路径会有所帮助或者是一个好的解决方案。任何帮助表示赞赏。
解决方案
要运行并行管道,我们可以使用云函数迭代 API 调用。虽然我不确定在一次 CDF 调用中允许多少个实例,但我可以运行同一管道的三个并行运行。
推荐阅读
- python - Python:如果一个键不存在,则获取另一个键值
- sql - 根据条件事件标记地址
- gradle - 导致 zip END 标头在 intleij 中找不到 gradle 项目
- python - 在python/pygame中以OOP方式按顺序保存文本输入和blit文本
- python - IndexError:索引 50552 超出轴 0 的范围,大小为 50552
- php - 如何在“添加到购物车”按钮旁边显示价格?
- algorithm - 是否有一种算法可以通过水箱水位的变化来检测水箱中的补充水
- xts - 是否可以仅使用年份作为索引来创建 xts 对象?
- python-3.x - 是否有任何快速的方法来检查 ext2/3/4 空闲 inode(在未安装的磁盘上)?和/或为什么它们不都具有相同的“坏类型”状态
- python - 在 python 中处理需要我显示名称和价格(从最高到最低)并且最便宜的项目是免费的场景,