首页 > 解决方案 > Google Cloud Data Catalog 可以用作 Dataproc(Spark/Hive/Presto)和 GCS 文件的元数据存储库吗?

问题描述

我们使用 MySQL (Cloud SQL) 作为 Dataproc 的元数据存储库。这不存储不属于 Hive 外部表的 GCS 文件的任何信息。

谁能建议将所有文件/数据详细信息存储在 Google Cloud 的一个目录中的最佳方法?

标签: google-cloud-platformgoogle-cloud-storagegoogle-cloud-dataprocgoogle-data-catalog

解决方案


Google Cloud Data Catalog 测试版不适用于 GCS 或 Hive Metastore。请参阅此文档

标记 Cloud Storage 资产(例如,存储桶和对象)在 Data Catalog 测试版中不可用。

但它适用于 BigQuery,请参阅此快速入门示例。


推荐阅读