amazon-web-services - AWS EMR 与 Glue 目录,明确指定 catalogId
问题描述
有没有办法在 EMR 配置中明确指定 Glue catalogId?
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html
这显示了如何在 EMR 中为 Hive 元存储指定使用 Glue,但没有记录任何参数来指定将传递给 Glue API 调用的 catalogId(可能默认为帐户 ID)。
稍后文档确实提到“......如果集群位于不同的 AWS 账户中”,这似乎暗示有一种方法可以将 EMR 集群指向不同账户中的 Glue 目录。
解决方案
看起来这是最近添加的。相关财产是hive.metastore.glue.catalogid
,在hive-site
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html
“此外,使用 Amazon EMR 5.16.0 及更高版本,您可以使用配置分类在不同的 AWS 账户中指定数据目录。”
“要在不同的 AWS 账户中指定数据目录,请添加hive.metastore.glue.catalogid
如下示例所示的属性”
推荐阅读
- angular - 如何使用 Quill 和 Angular 添加自定义格式按钮?
- java - 如何从车速表应用程序中找到高速?
- c++ - 传递 std::vector
到外部函数 - javascript - 是什么让 Google Places API 无法在我的 C# 应用程序上自动完成?
- java - ItemWriter 只提交第一个提交间隔
- amazon-web-services - 使用 check/dry-run 开发 AWS 基础设施配置 ansible playbook
- vscode-settings - 在终端中更改 VSCode 错误字体颜色
- javascript - JavaScript 不适用于所有 HTML 页面
- javascript - 在每个循环中使用 setAttributeNS
- javascript - 使用 postgresql 和 pg-promise 在多行插入中找不到关系错误