excel - 从 Microsoft CSV 读取大数据并写入 AWS 中的 Microsoft Excel 的策略

Question

请协助确定使用 Amazon AWS 产品进行提取、转换和加载 (ETL) 工作流程的策略。我是亚马逊云的新手。我的用例是从 Microsoft CSV 文件中读取数千行记录。我的目的是将这个文件写到 Microsoft Excel 文档中。我想将这个 excel 文件作为一个对象存储在 S3 存储桶中。目前，我正在使用 AWS Lambda 进行这个概念验证。我的问题是 /tmp 大小超过了 512 MB，即使我在 lambda 规范中选择了 6 GB RAM 大小。我不做任何磁盘操作。我在 RAM 中读取了一次所有 S3 csv 文件内容，然后在 RAM 中写入 excel。

标签： excelamazon-web-servicescsvamazon-s3lambda

Answer 1

您应该考虑使用 aws 胶水进行大容量数据转换。Lambda 可能不适合这项任务