python - 您可以从 IDE（例如 PyCharm）远程在 AWS Lambda 中使用 RAY 运行 python 代码吗？

Question

热衷于在 AWS Lambda/无服务器基础设施上运行使用“RAY”的 Python 代码库。

这可能吗？

我所追求的是： - 能够在无服务器（AWS Lambda）上运行 python 代码（使用 RAY 库），利用许多 CPU/GPU - 从本地计算机 IDE（PyCharm）运行代码 - 显示图形（例如 Matplotlib）本地机器/在本地浏览器中

需要考虑的是 RAY 不能在 Windows 上运行。

请让我知道这是否可行（如果可能，最好的设置方法）。

谢谢！CWSE

标签： pythonamazon-web-servicesaws-lambdaserverlessray

Answer 1

AWS 拉姆达

AWS Lambda不支持 GPU，非常适合神经网络的分布式训练。它的最长运行时间是15 分钟，它们没有足够的内存来保存数据集（可能只是其中的一小部分）。

在您的神经网络/ML 模型经过训练后，您可能希望 AWS Lambda 用于轻量级推理作业。

由于 AWS Lambda 自动缩放，它非常适合单张图像分类和多个用户立即返回等任务。

射线

对于并行和分布式培训，您应该追求的是AWS EC2 实例。对于深度学习，由于 Tesla V100 产品，p3实例可能是一个不错的选择。对于更多的 CPU 重负载，c5实例可能是一个不错的选择。

说到 Ray，它确实不支持 Windows，但它支持 Docker（参见安装指南）。在使用以下命令将源代码安装/复制到容器后，您可以使用预先配置的 ray 登录容器：

docker run -t -i ray-project/deploy

并从那里运行它。对于 Windows 上的 docker 安装，请参见此处。这种方式应该是可行的。如果没有，请使用 ubuntu 之类的其他docker映像，设置您需要的所有内容（ray 和其他库）并从容器内运行（或者更好的是，使容器可执行，以便它根据需要输出到您的控制台）。

这种方式应该是可行的。如果没有，您可以手动登录小型 AWS EC2 实例，在那里设置您的环境并运行。

您可能希望查看此对设置和ray 文档的友好介绍，以获取如何配置您的确切用例的信息。