pandas - AWS lambda 任务在处理来自 S3 存储桶的数据时出现大数据超时问题

Question

我的 S3 存储桶中有 120 mb 的数据文件，我正在通过 python pandas 在 lambda 中加载它并处理它，但是在 15 分钟后（在基本设置的超时选项中设置的时间）它给了我一个任务超时错误和停止这个过程。我在基本的崇高文本和终端中做的同样的过程只需要 2-3 分钟。问题是什么，我该如何解决。提前致谢

标签： pandasamazon-web-servicesamazon-s3aws-lambdaaws-lambda-layers

Answer 1

如果您认为这需要的时间明显减少，您应该尝试查看本地计算机中使用的资源。增加Lambda 可用的内存量可以在受限情况下显着提高性能，这也将增加 CPU 量。

如果有大量数据可以移动到EFS吗？Lambda 可以附加和访问EFS 挂载，就像它是本地存储一样。通过执行此操作，您可以从 Lambda 脚本中删除此过程，而只能进行处理。

最后，如果上述两种方法都不能缩短执行时间，请查看是否可以将 Lambda 分解为更小的 Lambda 函数，然后通过Step Functions进行编排。通过这样做，您可以创建一个链式的 Lambda 函数序列，这些函数将执行单个 Lambda 函数的原始操作。