google-cloud-platform - 我们如何与 Dataproc Metastore 交互以获取数据库和表的列表？

我将 Dataproc Metastore 用作 GCP 的 Metastore 服务。我如何与之交互以从中获取数据库和表的列表？是否可以在不运行 dataproc cluster的情况下执行此操作？

编辑 - 我必须在不运行 Dataproc 集群的情况下获取元数据。由于我使用 Dataproc Metastore 服务来存储元数据，因此我需要直接从中获取元数据。

标签： google-cloud-platformgoogle-cloud-dataprochive-metastoregoogle-cloud-dataproc-metastore

Dataproc Metastore API用于管理 Dataproc Metastore 服务实例（获取/创建/更新等）。如评论之一所述，您可以使用 thrift URI（如果您使用控制台，您将在 metastore 服务的配置选项卡下找到 URI）。

一旦你有一个连接到 thrift URI 的 thrift 客户端，你就可以获取databases或tables。虽然您也可以使用 thrift API创建数据库和表，但典型的用例是配置像 spark 或 hive 这样的大数据处理引擎/框架以使用元存储而不直接与元存储交互。