时间戳

首页 > 解决方案 > 用于流式传输的 Google Cloud Dataflow，dataflow 何时会自动关闭并清理 VM 实例？

google-cloud-dataflow - 用于流式传输的 Google Cloud Dataflow，dataflow 何时会自动关闭并清理 VM 实例？

问题描述

根据文档，https://cloud.google.com/dataflow/docs/resources/faq

“但是，一旦您的工作完成或失败，Cloud Dataflow 服务将自动关闭并清理 VM 实例。”

这对于 Batch 来说很容易理解。但是对于流媒体，发布/订阅消息将不断出现，数据流如何处理呢？继续关闭和清理 VM 实例效率不高。但是，保持 VM 实例一直运行也不划算。

谢谢

标签： google-cloud-dataflow

解决方案

通过流式数据流作业，VM 将继续运行，直到您结束作业。如果您没有来自 pubsub 的恒定消息流，您可能需要查看批处理数据流的 cron 作业（https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines- using-app-engine-cron-service-or-cloud-functions）或使用较小的工作节点进行流式传输作业，以帮助降低成本。

推荐阅读