amazon-s3 - 以 S3 文件存在为条件的顺序脚本

Question

我有三个 python 脚本。这些应该是按顺序执行的，但是在不同的环境中。

• script1：使用 AWS EMR 集群生成训练和测试数据集并将其保存在 S3 上。
• 脚本 2：使用训练数据训练机器学习模型，并将训练后的模型保存在 S3 上。（在 AWS GPU 实例上执行）
• script3：根据测试数据和训练好的模型运行评估，并将结果保存在 S3 上。（在 AWS GPU 实例上执行）

我想自动运行所有这些脚本，而不是一一执行。我的问题是：

• 是否有处理 S3 文件存在条件的良好做法？（错误容忍等）
• 如何触发启动 GPU 实例和 EMR 集群？

有没有好的方法或工具来处理这种过程？

标签： amazon-s3amazon-ec2

Answer 1

看看https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html

您可以配置存储桶上发生事件时的通知，例如创建对象时。

您可以将此通知直接附加到 AWS lambda 函数，如果将使用正确的角色设置该函数，则可以创建 EMR 集群和 AWS 开发工具包可访问的所有其他资源。