python-3.x - 如何使用可用于 aws lambda 函数的 goofy 将 s3 存储桶上的文件安装到 aws ec2 实例？

Question

我已经使用 Goofys（类似于 s3fs）将公共 s3 存储桶安装到 aws ec2 实例，这将让我访问我的 ec2 实例上的 s3 存储桶中的文件，就好像它们是本地路径一样。我想在我的 aws lambda 函数中使用这些文件，将这些本地路径传递给 python 中的 aws lambda 中的 event 参数。鉴于 AWS lambda 的存储限制为 512 MB，有没有办法可以让 aws lambda 访问我的 ec2 实例上的文件？

AWS lambda 真的很适合我的目的（我正在尝试计算 2 个文件之间的统计相关性，这需要 1-1.5 秒），所以如果有人知道一种方法来完成这项工作，那就太好了。

感谢帮助。

编辑：

在我的 AWS lambda 函数中，我使用了 python 库 pyranges，它需要文件的本地路径。

标签： python-3.xamazon-ec2aws-lambdagoofys

Answer 1

在我的 AWS lambda 函数中，我使用了 python 库 pyranges，它需要文件的本地路径。

你有几个选择：

• 让您的 Lambda 函数首先使用boto3/tmp将文件本地下载到文件夹，然后再调用 pyranges。
• 可能使用S3F模拟 S3 对象的文件句柄。