首页 > 解决方案 > 在没有 PhantomJS 的 AWS Lambda 中运行 Beautiful Soup

问题描述

虽然有 5 分钟的限制,但我希望使用 AWS Lambda 和 Beautiful Soup 运行一些小型抓取项目。

以前我总是使用 EC2 和 PhantomJS 来完成这项工作。现在 PhantomJS 已被弃用,并且无论如何都不能在 Python lambda 容器上工作。我正在寻找可能使用 Chrome 或 Firefox 的替代解决方案。此外,它会在两次刮擦之间在 EC2 上留下巨大的资源浪费。因此,也可以通过一些自动化来看待 Lambda。

只是添加 Firefox 或 Chrome Python 模块(将 PhantomJS 替换为浏览器)还是需要构建 Chrome 二进制文件?

https://pypi.org/project/chromedriver_installer/

标签: pythonpython-2.7seleniumbeautifulsoupaws-lambda

解决方案


推荐阅读