首页 > 解决方案 > 如何自动执行网站上的任务,但要多次?

问题描述

让我详细说明。所以基本上,我想做的是使用 puppeteer 自动抓取我朋友的网站。用于执行单次抓取的 puppeteer 代码已经完成。但是,我希望多次执行此过程,可能是数千次。

我注意到 puppeteer 代码需要 45-60 秒才能运行一次。所以如果我在我的代码中做了这样的事情:

    for(let a = 0; a < 10000; a++) {
       //puppeteer code for a single scrape
    } 

这至少需要 450,000 秒,即超过 5 天。有没有办法可以以某种方式拆分任务?服务器,也许?虚拟机?我对这方面不是很精通;我只需要编写只需要在命令上执行一次的 puppeteer 脚本。不是连续上千次。谁能帮我吗?

标签: javascriptnode.jsvirtual-machinehostingpuppeteer

解决方案


推荐阅读