时间戳

首页 > 解决方案 > 如何让 node.js webscraper 定期检查端点的数据更新？

javascript - 如何让 node.js webscraper 定期检查端点的数据更新？

问题描述

我正在编写一个从第三方 API 聚合数据的不和谐机器人。

对于我的网络抓取功能，我想遵循一种设计模式discord.js，其中一个实例化客户端对象，并在客户端发出特定事件时执行操作，如下所示：

const Discord = require('discord.js');
const client = new Discord.Client();

client.on('ready', () => {
  console.log(`Logged in as ${client.user.tag}!`);
});

client.on('message', msg => {
  if (msg.content === 'ping') {
    msg.reply('Pong!');
  }
});

client.login('token');

据我了解，此代码将无限期运行，每次发出特定事件时执行操作，例如ready或message.

我不知道这些功能是如何实现的。更具体地说，我无法弄清楚 discordclient对象如何不断地寻找变化，并在它注意到它们时发出一个事件。

我想模仿这种设计模式的原因是，我可以运行一个 node.js 应用程序，它会每隔 10 分钟访问 API 并查看是否有新信息，并在有新信息时将其记录到数据库中变化。

我最初的想法是沿着这些思路，但它会因内存不足错误而炸毁调用堆栈。

const events = require("events");

class ScrapeEmitter extends events.EventEmitter {}
const scrapeEmitter = new ScrapeEmitter();

scrapeEmitter.on("timeExpired", () => console.log("call scraping code here"));

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

最终目标是，从index.js，编写以下内容，并让它既监听不和谐事件，又抓取数据。

import * as scraper from "./core/scraper";
const Discord = require('discord.js');
const client = new Discord.Client();

client.on('ready', () => {
  console.log(`Logged in as ${client.user.tag}!`);
});

client.on('message', msg => {
  if (msg.content === 'ping') {
    msg.reply('Pong!');
  }
});

client.login('token');
scraper.begin_scraping();

标签： javascriptnode.jseventsweb-scrapingemit

解决方案

这部分代码

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

创建无限量的超时。您需要做的只是在前一个完成后才开始超时。一个例子是：

function loop() {
setTimeout(loop, 1500);
}

这会在 1500 秒后调用该函数，而后者又会在 1500 秒后调用该函数，依此类推。

但是，更好的解决方案是使用setInterval(). 它看起来像这样：

function loop() {};
setInterval(loop, 1500);

所以，而不是写

while (true) {
  setTimeout(() => scrapeEmitter.emit("timeExpired"), 1500);
}

写

setInterval(() => scrapeEmitter.emit("timeExpired"), 1500);

这消除了无限循环并按预期运行。

我只是将@Worthy Alpaca 的回答翻译成评论。这是一个社区维基，所以我没有声誉

推荐阅读