amazon-web-services - 在 AWS 上以 map reduce 方式转换 CSV 中的行

Question

只是想知道 AWS 数据管道或 AWS EMR 上是否有 map-reduce 方式，以便我可以将S3 上的GZIPPED CSV文件转换为 DynamoDB 备份格式？

我认为这可以通过数据管道中的 EMRActivity 来完成，但我对大数据非常陌生，没有弄清楚这一点。

CSV 架构是：

id,name,date
1,abc,2021-08-01
2,bcd,2021-08-02

需要将其转换为 DynamoDB 备份格式：

{"id":{"s":"1"},"name":{"s":"abc"},"uploadDate":{"s":"2021-08-01"}}
{"id":{"s":"2"},"name":{"s":"bcd"},"uploadDate":{"s":"2021-08-02"}}

标签： amazon-web-servicesamazon-emramazon-data-pipeline