amazon-web-services - AWS Glue 的 CI/CD 管道

Question

我是 AWS Glue 的新用户，它是一种新的 AWS 托管服务，可轻松编排批处理作业工作流程。

• 我有 3 个不同的 AWS IAM 账户（Dev、Test、Prod）。每个帐户的单独登录。
• Glue、Scala 作业在我的 Github 存储库中受版本控制。
• 我想构建一个 CI/CD 管道，以便在我提交和推送到我的 Github 存储库时自动化我的 Glue 作业的测试、构建和部署。

我浏览了许多描述 CI/CD 最佳实践的博客和文章。我在这里的 AWS 博客上找到了一篇好文章（特别是关于 Data Pipeline 工作流程中的 CI/CD）。它非常简单，并且包含使用 CodeCommit 和 AWS Cloudformation 构建 CodePipeline 的详细信息。但是 CI/CD 的所有阶段都在同一个 AWS IAM 账户中开始和结束。

我有两个问题：

1. 为构建和管理数据管道/数据仓库而分离开发、测试和生产帐户（不同的 IAM）是一种好习惯吗？
2. 如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

关于为 AWS-Glue 设计 CI/CD 管道的最佳实践有什么建议吗？

标签： amazon-web-servicesaws-glueaws-codepipeline

Answer 1

Please refer to this which explains in detail on setting up a CI/CD pipeline across multiple accounts in a secured manner.

Is separating Dev, Test and Prod account (different IAM) for building and managing Data Pipelines/ Data warehouse, a good practice?

Yes it is a good practice.

If yes, how would I design CI/CD pipeline using 3 different IAM account?

Please refer to the shared link