首页 > 解决方案 > 使用带有 EMR spark 的 terraform,在不破坏集群的情况下添加新步骤

问题描述

我正在使用 terraform 文档 ( https://www.terraform.io/docs/providers/aws/r/emr_cluster.html ) 来构建 EMR (spark) 集群。我正在考虑通过使用 terraform 的步骤部署 Spark 作业。

火花提交将类似于..

spark-submit --deploy-mode cluster --class mypackage.myobject s3://.../my.jar

当您添加新步骤或更改步骤时,是否有人尝试过此功能并让 terraform 不破坏集群?理想情况下,影响的步骤应该是唯一被破坏和创建的东西。

标签: amazon-web-servicesapache-sparkterraform

解决方案


简单的答案是,API 将一些操作定义为需要销毁.. terraform 对此无能为力。

我相信这是 cloudwatch APIS 的一个限制。


推荐阅读