时间戳

首页 > 解决方案 > 脚本无法产生所需的结果

jquery - 脚本无法产生所需的结果

问题描述

我编写了一个脚本，node.js用于从网页上抓取几篇文章中puppeteer的第一篇。title当我执行以下脚本时，它既不会获取任何结果也不会引发任何错误。

这是我的尝试：

const puppeteer = require('puppeteer');
const url = "https://stackoverflow.com/questions/tagged/web-scraping";

(async function main() {
    const browser = await puppeteer.launch();
    const page    = await browser.newPage();
    page.on('console', obj => console.log(obj._text));
    await page.goto(url);
    await page.waitForSelector('.question-hyperlink');
    await page.$(() => {
        let item = $eval('.question-hyperlink').innerText;
        console.log(item);
    })
    await browser.close();
})();

虽然我知道如果我对上面的脚本进行以下更改，它会起作用。但是，我想坚持我上面尝试的方式，以便我能理解.$eval()在这种情况下是如何工作的。

await page.evaluate(() => {
    let item = document.querySelector('.question-hyperlink').innerText;
    console.log(item);
})

标签： jquerynode.jsweb-scrapingpuppeteer

解决方案

page.$(selector) 表示你想用指定的选择器获取第一个元素的句柄，但是你没有给它任何选择器，这就是它不起作用的原因。

相反，您可以获得所需元素的句柄：

const link = await page.$('.question-hyperlink');

然后获取该元素所需属性的句柄，最后获取其值：

let valueHandle = await link.getProperty('textContent');
console.log(await valueHandle.jsonValue());

更简单、更清洁的解决方案

您可以提供page.$eval所需的元素选择器和一个在找到元素时在元素上运行的函数。

const linkTitle = await page.$eval('.question-hyperlink', el => el.textContent);
console.log(linkTitle);

推荐阅读