amazon-web-services - 当第一个完成时启动另一个 amazon-emr 集群
问题描述
我有一个主 emr 集群执行一系列步骤作业，我必须再添加 8 个步骤。
我面临的问题是第一个 EMR 集群对于这 8 个步骤来说太强大了。
因此，我想知道是否有一种简单的方法可以在第一个集群完成后自动启动另一个集群（它将从 r4.8xlarge 降级到 r4.xlarge，8 到 10 个实例）。
为此，我是否应该在第一个模板结束时调用 CloudFormation template.sh 来激活？
无论硬件如何，这些步骤都需要 4 小时，这就是我旨在降低集群成本的原因。
解决方案
有几种方法可以做到这一点。
我会选择使用 Amazon DataPipeline 或 Step 函数。您的第一个 emr 集群的工作是 EMR 活动一项。您可以在管道中添加另一个步骤作为另一个 EMR 活动，以使用较小的 emr 集群添加后续步骤。