amazon-web-services - 将数据从 Amazon S3 移动到 Amazon RDS

Question

我们可以连接两个不同区域中的 Amazon S3 存储桶并将 CSV 文件数据迁移到一个特定区域 Amazon RDS 吗？我正在尝试使用 AWS Glue。

标签： amazon-web-services

Answer 1

当然有不同的方法来解决这个用例。您可以使用 AWS Glue。您还可以使用 AWS Step Functions 编写一个工作流来解决这个问题。例如，您可以编写一系列 Lambda 函数，这些函数可以读取 Amazon S3 存储桶中的 CSV，获取值，然后将值写入 Amazon RDS 数据库。两种方式都有效。

请参阅这些文档作为参考：

https://aws.amazon.com/blogs/big-data/orchestrate-multiple-etl-jobs-using-aws-step-functions-and-aws-lambda/

https://aws.amazon.com/glue/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc

但是请记住。当您的数据集如此之大时，工作流程并不理想，它会超时 Lambda 使用的 15 分钟窗口。在这种情况下，您应该使用 AWS Glue。