database - 从 s3 加载数据到极光 - 大文件

Question

我目前正在使用 athena 来处理和执行 ETL——从中获得包含要加载到 aurora rds 表中的整个数据集的 csv 文件。我发现 LOAD DATA FROM S3 是加载数据的一个选项。由于这些文件非常大，大约 10 GB，包含 4-5 百万行数据。aurora 是否可以处理来自同一文件的如此大量数据，或者在此过程中是否会出现超时。如有必要，如何使这些过程更有效率？

标签： databaseamazon-s3amazon-rdsamazon-aurora

Answer 1

为此，您应该考虑使用 AWS Database Migration Service。设置迁移后，AWS DMS 将全面管理工作，并处理可能遇到的任何超时或故障。

AWS DMS 允许您使用多个源（包括 S3）将数据加载到多个目标（包括 Aurora）中。

AWS DMS 可以作为一次性任务完成，也可以作为具有持续数据复制的初始负载完成。

迁移期间发生的对源数据库的所有数据更改都会持续复制到目标。

（来自AWS DMS 优势）