时间戳

首页 > 解决方案 > 由于区域 + 区域限制，无法运行 Dataflow 作业

python - 由于区域 + 区域限制，无法运行 Dataflow 作业

问题描述

我们的数据和网络配置在北美-东北地区。

我们想要运行数据流作业来处理我们的输入文件并加载到 BigQuery 表中。我们的存储和 BigQuery 也配置在同一个区域 northamerica-northeast1。

但是，当我们运行作业时：我们收到以下错误 -

The workflow could not be created, since it was sent to an invalid or unreleased region. Please resubmit with a valid region.",

我们将以下参数传递给我们的数据流作业：--region northamerica-northeast1 --zone northamerica-northeast1-a

现在按照以下 KB - https://cloud.google.com/dataflow/docs/concepts/regional-endpoints Dataflow 在北美-northeast1 中没有区域端点。但是我们可以覆盖该区域。

关于我们如何做同样事情的任何帮助。那么我们如何在北美-东北1 运行这项工作。

标签： pythongoogle-cloud-platformgoogle-cloud-storagegoogle-cloud-dataflow

解决方案

您可以查看此表https://cloud.google.com/dataflow/docs/concepts/regional-endpoints#commonscenarios。对于您在下面提到的情况，必须完成设置

I need worker processing to occur in a specific region that does not have a regional endpoint.  

Specify both --region and --zone.
Use --region to specify the supported regional endpoint that is closest to the zone where the worker processing must occur. Use --zone to specify a zone within the desired region where worker processing must occur.

推荐阅读