首页 > 解决方案 > google dataproc 可以使用 gcs-connector 访问其他项目的云存储吗?

问题描述

我想使用 hadoop 文件系统 API 访问跨 gcp 项目的云存储,以读取 parquet、avro 和序列文件。如果我在名为“proj1”的 gcp 项目中设置了一个 dataproc 集群,如何使用“proj1”中的 dataproc 集群读取其他名为“proj2”的 gcp 项目中的云存储文件?

标签: google-cloud-platformgoogle-cloud-storagegoogle-cloud-dataproc

解决方案


您可以使用服务帐户来实现此目的。创建一个,在存储桶和所需项目上设置所需的权限(将其电子邮件地址用作任何电子邮件地址,就像您可以使用用户电子邮件地址一样),仅此而已!


推荐阅读