bash - 比较 s3 存储桶和 csv 文件之间的行并发送到 s3

Question

我有带有 zip 文件的 s3 存储桶。zip 文件的路径是 s3://bucketName/tech/type/serialNumber。

我也有包含区域、序列号和类型的 csv 文件

我需要将 s3 存储桶中的序列号和类型与 csv 中的序列号和类型进行比较，然后将带有 zip 文件的文件夹上传到另一个 s3 存储桶中与此序列对齐并从 csv 键入的区域下的位置。

我不知道怎么开始 :) 我希望我能很好地解释我的自我

**我在 bash 中编写脚本

谢谢

标签： bashcsvamazon-s3compare

Answer 1

一种方法是将源数据加载到数据库中。

然后，您的应用程序可以读取 CSV 文件并查询数据库以获取适当的信息。（这就是数据库存在的原因！）

另一种方法是让您的应用程序读取 CSV 文件。对于每个条目，它将从 S3 下载匹配的文件并根据需要对其进行处理。

或者，您可以从 S3下载所有数据并在本地执行所有操作（这可能意味着在您自己的计算机或 Amazon EC2 实例上）。

我建议您选择一种编程语言（例如 Python），而不是尝试在 bash 中执行此操作。