时间戳

首页 > 解决方案 > 使用 CFLAGS 和 PIP 缩小 AWS Lambda 部署包以适应 sklearn

python - 使用 CFLAGS 和 PIP 缩小 AWS Lambda 部署包以适应 sklearn

问题描述

我正在用我的 Lambda 处理程序加载一个腌制机器学习模型，所以我需要 sklearn（如果不包括，我会得到“ModuleNotFoundError：没有名为'sklearn'的模块”）

所以我用 sklearn 在 Docker 中创建了一个新的部署包。

但是当我尝试上传新的 lambda.zip 文件时，我无法保存 lambda 函数。我收到错误：解压缩后的大小必须小于 262144000 字节

我做了一些谷歌搜索，发现了两个建议：（1）使用 CLFAG 和 PIP和（2）使用 Lambda 层。

我认为图层不会起作用。将我的部署包的一部分移动到层不会减少总大小（AWS 文档指出“函数的总解压缩大小和所有层不能超过解压缩的部署包大小限制 250 MB”。

CFLAGS 听起来很有希望，但我以前从未使用过 CFLAGS，而且我遇到了错误。

我正在尝试添加标志：-Os -g0 -Wl,--strip-all

在 CLFAGS 之前，我的 docker pip 命令是：pip3 install requests pandas s3fs datetime bs4 sklearn -t ./

首先我试过：pip3 install requests pandas s3fs datetime bs4 sklearn -t -Os -g0 -Wl,--strip-all ./

这产生了各种错误“没有这样的选项：-g”

然后我尝试CFLAGS = -Os -g0 -Wl,--strip-all pip3 install requests pandas s3fs datetime bs4 sklearn -t ./了CFLAGS = -Os -g0 -Wl,--strip-all

但是他们产生了错误“CFLAGS：找不到命令”

谁能帮我理解如何使用 CFLAGS？

另外，我很熟悉“乞丐不能选择”这句话，所以任何建议都将不胜感激。

也就是说，我有点菜鸟，所以如果你能在我的 Docker 部署包工作流程的上下文中帮助我使用 CFLAGS，将不胜感激。

我的码头工人工作流程是：

  1. docker run -it olivierhervieu/amazonlinux-python36-onbuild
  2. mkdir 部署
  3. cd部署
  4. pip3 install requests pandas s3fs datetime bs4 sklearn -t ./
  5. zip -r lambda.zip *

标签： pythonamazon-web-servicesscikit-learnaws-lambdapip

解决方案

这有点像是一个答案（我能够缩小我的部署包并部署我的 Lambda）并且有点不是一个答案（我仍然不知道如何使用 CFLAGS）。

大量的谷歌搜索最终让我找到了这篇文章，其中包含一个链接到这个预先安装在 AWS Lambda Python 环境中 的模块列表。

我的部署包包含几个已经存在于 AWS Lambda 环境中的模块，因此不需要包含在部署包中。

为我节省最多空间的模块是 Boto3 和 Botocore。我没有在我的 Docker 环境中明确添加这些，但它们还是进入了我的部署包（我猜 S3FS 依赖于这些模块，并且在安装 S3FS 时它们也被添加）。

我还能够删除许多较小的模块（datetime、dateutil、docutils、6 等）。删除这些模块后，我的包低于 250mb 限制，我能够部署。

如果我仍然没有达到限制 - 我不确定这是否足够 - 我将尝试上面链接文章中的另一个建议：从部署包中删除 .py 文件（你不需要 .pyc 和.py 文件）。

希望这对您的 Lambda 部署包大小有所帮助！

推荐阅读