google-cloud-dataflow - 停止管道并启动新管道后，Beam/Dataflow 可以保持状态吗？

Question

我正在尝试了解数据流/Beam 如何管理状态。例如，当使用 kafka 流时，可以停止并重新启动您的应用程序并继续上一个状态。

Beam/Dataflow 是否有类似的可能性？

标签： google-cloud-dataflowapache-beam

Answer 1

虽然您今天无法对 Dataflow 的状态进行快照，但您可以对 Dataflow 从中获取数据并在稍后重新启动的 Pub/Sub 订阅进行快照。查看 Cloud Pub/Sub Seek and Replay 功能。更多关于集成的信息可以在这里找到。