google-cloud-platform - BigQuery 计划查询通知

Question

我想在完成后立即获得我的计划查询的结果，Big Query 计划程序 API 提供pub-sub通知，但消息不包含任何有关结果的信息。

有一个消费者服务正在等待调度查询结果，一旦我们准备好结果并且服务可以开始消费它，我们想通知消费者服务，我们如何实现这一点？

结果存储在表中，但是有多个计划查询将结果写入同一个表，因此消费者服务不能只读取我的表，因为我们需要一些偏移量。那么对此有什么帮助吗？

标签： google-cloud-platformgoogle-bigquery

Answer 1

您有 2 个解决方案：

• 使用预定查询，如果消费者期望特定预定查询的结果（并且不关心其他查询），则创建一个专用于该预定查询的主题并将消费者插入该主题。

• 另一种解决方案是使用Cloud Workflows而不是计划查询。通过这种设计，Workflow 使用专用连接器执行查询，当查询结束时，Workflow 会调用消费者（或在 PubSub 中发布具有正确属性的消息，让消费者过滤他们想要的消息。）