amazon-emr - EKS 上的 EMR - 创建作业执行角色

Question

如何创建 IAM 角色以在 EKS 上的 Amazon EMR 上运行工作负载？官方文档在这一点上仍然非常模糊

标签： amazon-emramazon-eks

Answer 1

这是一个多步骤的过程。我们有运行 EMR 作业的 EKS 集群。所以我们需要设置 IAM + EKS 角色映射配置。AWS 文档很详细，有时会造成混乱。

以下是高级步骤，可以帮助您再次参考 AWS 文档并理解。

注意：这些步骤假设您已经创建了 EKS。

1. 创建命名空间以运行您的 spark 作业。
2. 为您的集群配置创建 RBAC 角色和角色绑定。（这是 EKS 级别基于角色的访问机制。）
3. 编辑 aws-auth 以更新 AWSServiceRoleForAmazonEMRContainers 的 roleARN。（EKS授权）
4. 创建 EMR 虚拟集群并将其分配给上面创建的 EKS 命名空间。
5. 创建信任策略以访问 EMR 容器的 EKS 集群。
6. 创建作业执行角色并将上述策略关联到它。
7. 在 eks 工作上提交您的 emr。