首页 > 解决方案 > AWS EMR 与 Glue 目录,明确指定 catalogId

问题描述

有没有办法在 EMR 配置中明确指定 Glue catalogId?

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

这显示了如何在 EMR 中为 Hive 元存储指定使用 Glue,但没有记录任何参数来指定将传递给 Glue API 调用的 catalogId(可能默认为帐户 ID)。

稍后文档确实提到“......如果集群位于不同的 AWS 账户中”,这似乎暗示有一种方法可以将 EMR 集群指向不同账户中的 Glue 目录。

标签: amazon-web-servicesamazon-emr

解决方案


看起来这是最近添加的。相关财产是hive.metastore.glue.catalogid,在hive-site

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

“此外,使用 Amazon EMR 5.16.0 及更高版本,您可以使用配置分类在不同的 AWS 账户中指定数据目录。”

“要在不同的 AWS 账户中指定数据目录,请添加hive.metastore.glue.catalogid如下示例所示的属性”


推荐阅读