google-cloud-dataflow - 使用 Java SDK 以编程方式获取 Dataflow 管道作业列表

Question

我知道有一个gcloud命令：

gcloud dataflow jobs list --help

姓名

gcloud dataflow 作业列表 - 列出特定项目中的所有作业，可选择按区域过滤

描述

默认列出当前项目中的 100 个作业；这可以用 gcloud --project 标志和 --limit 标志覆盖。

使用 --region 标志将仅列出来自给定区域端点的作业。

但我想通过 Dataflow Java SDK 以编程方式检索此列表。

我试图解决的问题：

我有一个流模式的 Dataflow 管道，我想根据此作业是否已部署相应地设置更新选项 ( https://cloud.google.com/dataflow/pipelines/updating-a-pipeline )。

例如，当我第一次部署此作业时，代码不应将此update标志设置为，true因为没有要更新的现有作业（否则驱动程序将抱怨并无法启动）；并且代码应该能够查询正在运行的作业列表并确认作业正在运行并设置update更新它的选项（否则DataflowJobAlreadyExistsException会被抛出）。

标签： google-cloud-dataflowapache-beamdataflow

Answer 1

我发现org.apache.beam.runners.dataflow.DataflowClient#listJobs(String)可以做到这一点。