amazon-web-services - 如何在s3中附加来自不同文件夹的多个csv文件

Question

我在 S3 的不同子目录下有许多 csv 文件。我尝试将所有数据附加到一个 csv 文件中。

有没有办法使用 s3 或其他 AWS 服务附加所有文件？

谢谢

标签： amazon-web-servicesamazon-s3

Answer 1

如果结果 csv 不是很大（小于几个 Gb），您可以使用 AWS Lambda 遍历 S3 中的所有子目录（键）并将结果文件写入 [例如再次写入 S3]。

您也可以使用 AWS Glue 进行此操作，但我没有使用它。

在这两种情况下，您都应该编写一些脚本来连接文件。