node.js - 我应该使用哪个来从网站 Google appEngine、computeEngine 或 cloudFunctions 抓取数据

Question

我想构建一个 nodejs 应用程序，每 20 分钟从网站上抓取数据并将其存储在 firebase 中。你能告诉我谷歌的哪个产品（计算引擎、应用引擎或云功能）对这个要求有效吗？如下是我期望做的事情，1.运行Nodejs，cheerio从网站上抓取数据并存储在firebase中2. 最初安排它运行 20 分钟，以后可以将其更改为 30 分钟或 1 小时。

阅读文档后，我知道有太多方法可以实现这一点，但我正在寻找一种成本/资源有效的方法。

指针和想法会很好。

标签： node.jsgoogle-app-enginegoogle-compute-enginegoogle-cloud-functionscheerio

Answer 1

一种具有成本效益/简单的方法是使用 cronjob.org 并让它向您的云函数 url 发送一个 http 请求以触发它。如果您担心其他人触发它，请告诉您的 cronjob 发送带有 api 密钥的 http 标头。在您的云功能代码中检查此 api 密钥以验证 cronjob.org 是否发送了请求。我不认为它比这更容易/更便宜。