apache-spark - 如何在 Kubernetes 中安装 Hive Metastore？

Question

我正在 Kubernetes 上开展一个项目，在该项目中我使用 Spark SQL 创建表，并且我想将分区和模式添加到 Hive Metastore。但是，我没有找到任何合适的文档来在 Kubernetes 上安装 Hive Metastore。知道我已经安装了 PostGreSQL 数据库有可能吗？如果是的话，你能帮我提供任何官方文件吗？

提前致谢。

标签： apache-sparkkuberneteshive-metastore

Answer 1

MR3 上的 Hive 允许用户在 Kubernetes 上的 Pod 中运行 Metastore。指令可能看起来很复杂，但是一旦正确配置了 Pod，在 Kubernetes 上启动 Metastore 就很容易了。您还可以在 Docker Hub 上找到预构建的 Docker 映像。还提供了 Helm 图表。

https://mr3docs.datamonad.com/docs/k8s/advanced/run-metastore/

https://mr3docs.datamonad.com/docs/k8s/helm/run-metastore/

文档假定使用 MySQL，但我们也使用 PostgreSQL 对其进行了测试。