首页 > 解决方案 > 我们可以只从云功能触发一次数据流作业吗?

问题描述

我的 BigQuery 表正在加载多个批处理作业,导致在堆栈驱动程序日志记录中创建多个日志条目。我想使用这些日志条目来触发数据流作业,方法是将它们发送到 pubsub 主题,然后使用云功能运行数据流作业。

问题是,我们有超过 1 个批处理作业,因此有超过 1 个日志条目进入 pubsub 主题和云功能,试图一次又一次地运行相同的数据流作业。

我需要在所有批处理作业完成 bigQuery 表中的数据加载时运行一次数据流作业的解决方案。(批处理作业的数量不是恒定的)

标签: google-cloud-platformgoogle-bigquerygoogle-cloud-pubsubgoogle-cloud-stackdriver

解决方案


推荐阅读