google-cloud-platform - Bigquery 使用数据流发布订阅消息推送

Question

我们需要使用数据流将数据从 Bigquery 推送到 pubsub 作为事件。我们是否有任何可用的模板（据我所知，使用 DF 模板的 pubsub 到 BQ 可用）。如果我们使用数据流流机制设置为 true - 我们是否需要任何调度程序来调用数据流来获取数据并将数据推送到 pubsub？请指导我。

标签： google-cloud-platformgoogle-cloud-dataflowgoogle-cloud-pubsub

Answer 1

没有将 BigQuery 行推送到 PubSub 的模板。此外，流模式仅在 PubSub 是源而不是接收器时才有效。当它是数据库或文件时，它始终处于批处理模式。

---

对于您的用例，我建议您使用简单的 Cloud Functions 或 Cloud Run 并使用 Cloud Scheduler 触发它。数据量低，无服务器产品非常适合您的用例。不需要像 Dataflow 这样的大型可扩展产品