python - 如何在 Apache Beam 中读取具有开始日期的 pubsub 消息

Question

我有一个简单的工作从 pubsub 读取历史数据，日期为例如我想读取从日期 2020-04-10 到 2020-04-20 的消息，然后每天将消息保存在谷歌存储桶中的单个文件中

标签： pythongoogle-cloud-dataflowapache-beamgoogle-cloud-pubsub

Answer 1

假设您有一个由 pubsub 支持的消息传递系统，并且您正在尝试使用来自 pubsub 的历史消息传递数据构建一个数据湖，您可以使用重播消息来寻找时间戳或快照来实现您想要做的事情。