javascript - 如何使用 Puppeteer 进行网页抓取并发布？

Question

我想使用 Puppeteer 进行网络抓取。当用户单击我的应用程序中的按钮时，它将从外部 URL 获取数据。我的应用程序必须访问外部 URL、填写表格、单击按钮、获取返回的数据并将其显示给我的应用程序中的用户。这是一个内部项目，起初是一个小项目。

我使用以下网站 编写了一个使用 Puppeteer 的测试代码： https ://try-puppeteer.appspot.com/

工作完美。伟大的！

1. 但是，我无法通过 Locaweb 上的共享主机让我的代码在我的域上运行。在我看来，我依赖于服务器上的更改才能运行 Puppeteer，对吗？

2. 是否有一个免费的地方可以托管我的代码并像我在https://try-puppeteer.appspot.com/上那样使用Puppeteer运行？如果您没有免费的建议选项，您能否建议一个可行的低成本选项？

谢谢！

标签： javascriptweb-scrapingpuppeteerweb-hosting

Answer 1

脚步：

1. 您需要创建一个简单的 expressjs api。
2. 在某处托管 api（有成千上万的 vps 和云托管提供商，如 digitalocean/linode 等）
3. 使用前端访问该 api（通常是 ajax 调用）

确实有一些免费服务，但它们会更复杂一些。您需要了解一些无服务器功能。尝试搜索，

• AWS 拉姆达
• 网络化功能
• Firebase 函数
• 谷歌云功能
• 谷歌云运行。