google-cloud-dataflow - 是否可以在“开始”状态下停止工作？

Question

当我运行一个包含许多步骤的作业时，该作业在 24 小时后仍然“开始”并且没有开始。我什至无法取消它，因为它没有运行。我有麻烦了。

标签： google-cloud-dataflowapache-beam

Answer 1

利用

gcloud dataflow jobs cancel <job-id>

由于多种原因，排水管可能无法正常工作。这取决于工作和排水的工作方式。为了让 drain 工作，它应该能够成功处理数据（如果有）。cancel 只会强制终止 Dataflow 作业。

如果这不起作用，您可以尝试一些硬杀，例如检查是否有任何计算引擎已启动，然后也将其杀死。不推荐，但一个选项：暂时禁用 Dataflow API（如果您的 GCP 项目中没有其他作业/用户正在使用）