aws-glue - 实例运行时是否可以修改 AWS Glue 脚本

Question

这是一个更普遍的问题，我无法找到答案。

1. 是否可以在实例 ID 运行时修改 AWS Glue 脚本。
2. 脚本的编辑是否会影响第一个实例的执行。比如，第一个实例是否会使用旧代码的副本继续执行。还是第一个实例会使用新版本的代码。

当多个开发人员共享一个胶水作业来执行他们的脚本时，就会出现此问题。

标签： aws-glue

Answer 1

当您运行 Glue ETL 作业时，它会按照指定的顺序执行以下操作

1. 在后端启动请求数量的 DPU
2. 从 S3 路径下载 ETL 脚本。
3. 使用 spark-submit 命令在 Spark 环境中执行 ETL 脚本

因此，为了回答您的问题，

1. 是的，您可以在作业执行 JobRun 时编辑 Glue 作业的脚本
2. 不，它不会影响已经运行的作业实例的执行