时间戳

首页 > 解决方案 > 如何向多个 URL 发出请求并解析每个页面的结果？

javascript - 如何向多个 URL 发出请求并解析每个页面的结果？

问题描述

我正在使用流行的 npm 包 Cheerio 来请求检索一些表数据。

虽然我可以轻松地从单个页面检索和解析表格，但我想循环/处理多个页面。

我已经尝试在循环/包提供的各种实用程序中async包装，但无法弄清楚这一点。在大多数情况下，节点内存不足。

当前代码：

const cheerio = require('cheerio');
const axios = require("axios");


var url = someUrl;

const getData = async url => {
  try {
    const response = await axios.get(url);
    const data = response.data;
    const $ = cheerio.load(data);
    const announcement = $(`#someId`).each(function(i, elm) {
      console.log($(this).text()) 
    })
  } catch (error) {
    console.log(error);
  }
};


getData(url); //<--- Would like to give an array here to fetch from multiple urls /  pages

在尝试循环之后，我目前的方法是将其包装在另一个带有回调参数的函数中。然而，还没有成功，而且变得相当混乱。

向此函数提供数组的最佳方法是什么？

标签： javascriptnode.jsaxioscheerio

解决方案

您是否尝试过使用Promise.all（https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Promise/all）？

在处理异步调用时，for 循环通常是一个坏主意。这取决于您要拨打多少电话，但我相信这已经足够了。我会使用一组 promise 来获取数据并映射结果来进行解析。

推荐阅读