google-cloud-platform - 如何使用特定服务帐户在 Dataproc 集群上提交作业？

Question

我正在尝试在 Dataproc 集群中执行作业，这些作业访问 GCP 的多个资源，例如 Google Cloud Storage。

我担心的是通过我的作业创建的任何文件或对象都由 Dataproc 默认用户拥有/创建。

示例 - [e-mail]。

有什么方法可以配置此用户/服务帐户，以便对象由给定的用户/服务帐户而不是默认帐户创建？

标签： google-cloud-platformgcloudgoogle-cloud-dataprocservice-accounts

Answer 1

--service-account您可以在集群创建时使用标志配置服务帐号以供 Dataproc 集群使用。

Gcloud 命令如下所示：

gcloud dataproc clusters create cluster-name \
  --service-account=[e-mail]

更多详细信息：https ://cloud.google.com/dataproc/docs/concepts/configuring-clusters/service-accounts https://cloud.google.com/dataproc/docs/concepts/iam/iam

注意：每个作业最好有一个 dataproc 集群，这样每个作业都可以得到隔离的环境并且不会相互影响，并且您可以更好地管理它们（在安全性方面也是如此）。

您还可以查看 GCP Composer，您可以使用它来安排作业并使其自动化。

希望这可以帮助。