时间戳

首页 > 解决方案 > 数据流流式自动缩放究竟何时开始发生？

google-cloud-platform - 数据流流式自动缩放究竟何时开始发生？

问题描述

因此，根据文档“如果流式管道仍然积压，工作人员在几分钟内平均使用超过 20% 的 CPU，数据流就会扩大”（https://cloud.google.com/dataflow/docs/指南/部署管道#autoscaling）。Dataflow 开始扩展时是否有确切的时间范围？

因为我使用 Streaming Engine（默认情况下有 1 个工作人员）测试了我的流式传输作业，以查看自动缩放是否有效以及工作人员数量是否增加，但在 CPU 利用率超过 20% 超过 6 分钟后。并且在相同的时间内（大约 6 分钟）积压了来自 PubSub 的未确认消息，当前工作人员的数量保持为 1，并且没有发生自动缩放。

此外，关于 Dataflow 中作业指标下的自动缩放图表，它对我说：“当前工作人员：1，目标工作人员：1”。“目标工人”是什么意思，与当前工人有什么区别？

提前感谢您的帮助。

标签： google-cloud-platformgoogle-cloud-dataflow

解决方案

关于自动缩放图表。

  • 当前工作人员- 管道当前使用的工作人员数量
  • 目标工作人员- 数据流自动缩放算法建议的工作人员数量。可以是高档的，也可以是低档的。Pipeline 正在努力实现这一目标。

关于扩展决策的时间，我不认为 Dataflow 服务在这里提供了确切的保证。请参阅此处的流式自动缩放相关文档。如果您认为是否存在与自动缩放相关的问题，请联系 Dataflow 支持，以便他们查看您的特定管道。

推荐阅读